Carregando
0x40Lição 5 de 11

Treine modelos e generalize para dados novos

Veja o overfitting acontecer, escolha a complexidade do modelo com dados de validação e validação cruzada, e controle-a com regularização.

25 min Questionário com 6 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Reconhecer underfitting e overfitting a partir dos erros de treino e de validação
  • Usar validação cruzada k-fold para escolher modelos com confiança
  • Explicar como a regularização reduz o overfitting

Um modelo só é útil se generaliza - se vai bem em dados novos, e não só nos exemplos com que treinou. Há duas formas de falhar:

  • Underfitting (viés alto): o modelo é simples demais para capturar o padrão. Os erros de treino e de validação são ambos altos.
  • Overfitting (variância alta): o modelo decora o ruído dos dados de treino. O erro de treino é baixo, mas o de validação é alto.

A cura é escolher a complexidade pelo erro de validação, nunca pelo de treino - e manter um conjunto de teste separado para uma estimativa final e honesta.

Experimente

Até 15 XP

Overfitting em ação

Dez pontos de treino com ruído (preenchidos) vêm de uma curva suave; outros dez (vazados) são reservados para validação. Aumente o grau do polinômio de 1 até 9. O erro de treino continua caindo - no grau 9 a curva passa por todos os pontos de treino -, mas onde o erro de validação é menor?

● treino · ○ validação
Erro por grau (escala logarítmica): treino em linha contínua, validação tracejada

Erro de treino

0.378

Erro de validação

0.277

Subajuste: o modelo é simples demais para acompanhar a curva.

Validação cruzada e regularização

Com poucos dados, uma única divisão de validação é ruidosa. A validação cruzada k-fold divide os dados de treino em kk partes (folds), treina kk vezes - validando a cada vez numa parte diferente - e tira a média das métricas. Todo exemplo é usado para validação exatamente uma vez.

A regularização combate o overfitting penalizando pesos grandes. A regressão ridge (L2) minimiza

L(w)=1n∑i=1n(y^i−yi)2+λ∑jwj2L(w) = \frac{1}{n} \sum_{i=1}^{n} (\hat{y}_i - y_i)^2 + \lambda \sum_j w_j^2

para que o modelo só use pesos grandes quando eles realmente compensam. Um λ\lambda maior significa um modelo mais simples e suave. Outras alavancas: mais dados, menos features e parada antecipada (early stopping).

folds.py
1examples = list(range(10))
2k = 5
3for fold in range(k):
4    print(fold, examples[fold::k])
Saída
0 [0, 5]
1 [1, 6]
2 [2, 7]
3 [3, 8]
4 [4, 9]

Principais conclusões

  • Underfitting: os dois erros altos. Overfitting: erro de treino baixo, erro de validação alto.

  • Escolha a complexidade com dados de validação ou validação cruzada k-fold; deixe o conjunto de teste para o fim.

  • Regularização, mais dados e modelos mais simples reduzem o overfitting.

Quiz da aula

6 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Diagnostique o ajuste

+25 XP

Cada linha é model train_error validation_error. Imprima MODEL: underfitting se os dois erros forem maiores que 0.2, MODEL: overfitting se o erro de validação passar o de treino em mais de 0.1 (e não for underfitting); caso contrário, MODEL: good fit. Depois imprima choose: MODEL para o menor erro de validação.

  • Quatro graus
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Validação cruzada k-fold

+25 XP

A linha 1 é k; a linha 2 tem os valores de x; a linha 3, os de y. Para a parte ff, os exemplos de validação são os de índice ii com i mod k=fi \bmod k = f. Ajuste uma reta no restante com np.polyfit(x, y, 1) e depois calcule o erro quadrático médio na validação.

Imprima fold F: mse M para cada parte e mean mse: M (4 casas decimais).

  • Cinco partes
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…