Overfitting e regularização
Identifique o overfitting e reduza-o com mais dados, decaimento dos pesos, dropout, aumento de dados e parada antecipada.
- Reconheça o overfitting devido à perda de treinamento e validação
- Aplicar decaimento dos pesos, dropout e aumento de dados
- Escolha quando parar de treinar com parada antecipada
Redes profundas têm tantos parâmetros que podem memorizar seu conjunto de treinamento – ruídos, erros de digitação e tudo. Isso é overfitting: a perda de treinamento continua caindo enquanto a perda em dados de validação retidos começa a aumentar. A rede está melhorando nos deveres de casa e piorando nas provas.
Sempre divida seus dados de três maneiras: treinar (para aprender), validação (para tomar decisões como quando parar) e teste (tocado uma vez, no final, para uma pontuação final honesta).
Experimente
Até 15 XPAssista a um modelo overfit
Aumente a capacidade do modelo (aqui, o grau de um polinômio) e compare o erro de treinamento com o erro de validação. Descubra onde o erro de validação é menor - além disso, a capacidade extra apenas memoriza o ruído.
Erro de treino
0.378
Erro de validação
0.277
Subajuste: o modelo é simples demais para acompanhar a curva.
A caixa de ferramentas de regularização:
| Técnica | Idéia |
|---|---|
| Mais dados | o melhor regularizador de todos - real ou sintético |
| Aumento de dados | crie novos exemplos de treinamento invertendo, cortando, girando e adicionando ruído; o rótulo permanece o mesmo |
| Queda de peso (L2) | adicione à perda, para que o gradiente ganhe e os pesos permaneçam pequenos |
| Abandono | durante o treinamento, zere aleatoriamente uma fração p de ativações, para que nenhum neurônio possa confiar em qualquer outro |
| Parada antecipada | manter os pesos da época com melhor perda de validação |
| Modelo menor | menos parâmetros, menos espaço para memorizar |
Desistência, com cuidado
Dropout (2014) é maravilhosamente simples, com uma sutileza. Se você zerar metade das ativações durante o treinamento, a próxima camada verá entradas com metade do tamanho do momento do teste, quando nada for descartado. Desistência invertida corrige isso aumentando os sobreviventes em durante o treinamento, então na hora do teste você simplesmente não faz nada:
1import numpy as np
2
3def dropout(x, p, training, rng):
4 if not training or p == 0:
5 return x
6 keep = rng.random(x.shape) >= p
7 return x * keep / (1 - p)
8
9rng = np.random.default_rng(0)
10activations = np.ones((1000, 100))
11out = dropout(activations, 0.5, training=True, rng=rng)
12print(f"zeroed: {np.mean(out == 0):.3f} mean: {out.mean():.3f}")
13print(np.array_equal(dropout(activations, 0.5, training=False, rng=rng), activations))zeroed: 0.501 mean: 0.998 True
Principais conclusões
Overfitting: a perda de treinamento cai enquanto a perda de validação aumenta. Mantenha os conjuntos de treinamento, validação e teste separados.
Mais dados e aumento ajudam mais; a decaimento dos pesos mantém os pesos pequenos.
O dropout invertido zera as ativações com probabilidade p e dimensiona o restante em 1/(1−p), apenas no treinamento.
A parada antecipada mantém os pesos na melhor época de validação.
Quiz da aula
7 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Desistência invertida
A entrada é p rows cols. Implemente dropout(x, p, training, rng) (dropout invertido) e aplique-o a uma matriz de todos com esse formato com rng = np.random.default_rng(42). Imprima a fração de zeros e a média de 3 decimais para o modo de treinamento e, em seguida, se o modo de avaliação retorna a entrada inalterada: train: zeros=0.299 mean=1.001 / eval unchanged: True. Com p = 0, nada pode mudar mesmo no modo de treino.
- p = 0,3
- p = 0
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Parando cedo com paciência
A entrada tem paciência na primeira linha e perda de validação após cada época na segunda. O treinamento é interrompido quando a perda de validação não melhora em épocas patience consecutivas. Imprima a época em que o treinamento para e a melhor época (cujos pesos você manteria), contando as épocas a partir de 1, e a melhor perda: stopped after epoch 7, best epoch 4 (loss 0.410). Se nunca parar, imprima ran all N epochs, best epoch ....
- Overfits após a época 4
- Continua melhorando
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…