Treine modelos e generalize para dados novos
Veja o overfitting acontecer, escolha a complexidade do modelo com dados de validação e validação cruzada, e controle-a com regularização.
- Reconhecer underfitting e overfitting a partir dos erros de treino e de validação
- Usar validação cruzada k-fold para escolher modelos com confiança
- Explicar como a regularização reduz o overfitting
Um modelo só é útil se generaliza - se vai bem em dados novos, e não só nos exemplos com que treinou. Há duas formas de falhar:
- Underfitting (viés alto): o modelo é simples demais para capturar o padrão. Os erros de treino e de validação são ambos altos.
- Overfitting (variância alta): o modelo decora o ruído dos dados de treino. O erro de treino é baixo, mas o de validação é alto.
A cura é escolher a complexidade pelo erro de validação, nunca pelo de treino - e manter um conjunto de teste separado para uma estimativa final e honesta.
Experimente
Até 15 XPOverfitting em ação
Dez pontos de treino com ruído (preenchidos) vêm de uma curva suave; outros dez (vazados) são reservados para validação. Aumente o grau do polinômio de 1 até 9. O erro de treino continua caindo - no grau 9 a curva passa por todos os pontos de treino -, mas onde o erro de validação é menor?
Erro de treino
0.378
Erro de validação
0.277
Subajuste: o modelo é simples demais para acompanhar a curva.
Validação cruzada e regularização
Com poucos dados, uma única divisão de validação é ruidosa. A validação cruzada k-fold divide os dados de treino em partes (folds), treina vezes - validando a cada vez numa parte diferente - e tira a média das métricas. Todo exemplo é usado para validação exatamente uma vez.
A regularização combate o overfitting penalizando pesos grandes. A regressão ridge (L2) minimiza
para que o modelo só use pesos grandes quando eles realmente compensam. Um maior significa um modelo mais simples e suave. Outras alavancas: mais dados, menos features e parada antecipada (early stopping).
1examples = list(range(10))
2k = 5
3for fold in range(k):
4 print(fold, examples[fold::k])0 [0, 5] 1 [1, 6] 2 [2, 7] 3 [3, 8] 4 [4, 9]
Principais conclusões
Underfitting: os dois erros altos. Overfitting: erro de treino baixo, erro de validação alto.
Escolha a complexidade com dados de validação ou validação cruzada k-fold; deixe o conjunto de teste para o fim.
Regularização, mais dados e modelos mais simples reduzem o overfitting.
Quiz da aula
6 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Diagnostique o ajuste
Cada linha é model train_error validation_error. Imprima MODEL: underfitting se os dois erros forem maiores que 0.2, MODEL: overfitting se o erro de validação passar o de treino em mais de 0.1 (e não for underfitting); caso contrário, MODEL: good fit. Depois imprima choose: MODEL para o menor erro de validação.
- Quatro graus
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Validação cruzada k-fold
A linha 1 é k; a linha 2 tem os valores de x; a linha 3, os de y. Para a parte , os exemplos de validação são os de índice com . Ajuste uma reta no restante com np.polyfit(x, y, 1) e depois calcule o erro quadrático médio na validação.
Imprima fold F: mse M para cada parte e mean mse: M (4 casas decimais).
- Cinco partes
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…