Depuração do treinamento
Interprete curvas de perda, faça verificações de integridade e corrija gradientes explosivos e valores NaN.
- Diagnosticar underfitting, overfitting e divergência de curvas de perda
- Use verificações de integridade: a perda inicial, ajuste excessivo de um lote e inspeção de dados
- Corte gradientes por norma global e rastreie NaNs
As redes neurais falham silenciosamente. Um bug raramente trava; isso apenas faz com que a rede aprenda um pouco pior e você pode perder dias. Praticantes experientes depuram metodicamente, começando com as curvas de perda:
| O que você vê | Causa provável | Experimente |
|---|---|---|
| A perda explode ou se torna NaN | taxa de aprendizado muito alta, dados incorretos, log(0) | abaixe o LR, corte gradientes, verifique as entradas |
| Perda estável desde o início | taxa de aprendizado muito baixa, bug na passagem para trás, ReLUs mortos | aumente o LR, verificação de gradiente, verifique init |
| Treinamento e validação altos | underfitting: modelo muito pequeno ou não treinado o suficiente | modelo maior, treina mais |
| Trem baixo, validação aumentando | sobreajuste | regularizar, mais dados, parar antecipadamente |
| Perda muito barulhenta | lote muito pequeno, LR muito alto | lote maior, menor LR |
Experimente
Até 15 XPDiagnosticar a execução de treinamento
Cada descrição é o que um tratador do Doodle Lab viu em seu gráfico de perdas. Qual é o problema mais provável?
“Perda: 2,3, 2,1, 9,8, 140, NaN”
“Trem 0,02, validação 1,40 e aumento”
“Trem 1.9, validação 1.9, quase não se movendo após 50 épocas, modelo minúsculo”
“Um classificador de 10 classes começa com perda de 0,0001 em seu primeiro lote”
“A precisão da validação é de exatamente 10% em um problema de 10 classes para sempre”
“A perda salta entre 0,8 e 3,0 a cada poucos passos e nunca se estabiliza”
Verificações de sanidade que salvam dias
- Verifique a perda inicial. Com classes K e pesos aleatórios, as previsões são quase uniformes, então a entropia cruzada deve começar perto de (2,30 para 10 classes). Longe? Algo está errado antes mesmo de o treinamento começar.
- Ajuste excessivo em um lote. Treine em um único lote de alguns exemplos. Uma rede funcional leva a perda a quase zero. Se não puder, há um bug – não adianta treinar tudo.
- Observe os dados. Trace algumas entradas com seus rótulos, após todo o pré-processamento. Dados rotulados incorretamente, normalização errada e rótulos embaralhados acidentalmente são deprimentemente comuns.
- Comece de forma simples. Primeiro, um modelo pequeno e uma boa taxa de aprendizado; adicione complexidade quando funcionar.
1import numpy as np
2
3rng = np.random.default_rng(0)
4for classes in (2, 10, 1000):
5 logits = rng.normal(0, 0.01, size=(256, classes)) # small random init
6 labels = rng.integers(0, classes, size=256)
7 shifted = logits - logits.max(axis=1, keepdims=True)
8 log_probs = shifted - np.log(np.exp(shifted).sum(axis=1, keepdims=True))
9 loss = -log_probs[np.arange(256), labels].mean()
10 print(f"{classes:>4} classes: initial loss {loss:.3f}, ln(K) = {np.log(classes):.3f}")2 classes: initial loss 0.693, ln(K) = 0.693 10 classes: initial loss 2.303, ln(K) = 2.303 1000 classes: initial loss 6.907, ln(K) = 6.908
Explodindo gradientes e recorte de gradiente
Às vezes, um único lote infeliz produz um gradiente gigantesco e uma etapa desfaz horas de treinamento. O recorte de gradiente limita o tamanho da atualização: calcule a norma global de todos os gradientes juntos e, se exceder um limite, reduza cada gradiente pelo mesmo fator. A direção é preservada; apenas o comprimento é limitado. É padrão para redes recorrentes e transformadores.
1import numpy as np
2
3def clip_by_global_norm(grads, max_norm):
4 total = np.sqrt(sum(np.sum(g ** 2) for g in grads))
5 scale = min(1.0, max_norm / (total + 1e-12))
6 return [g * scale for g in grads], total
7
8grads = [np.array([3.0, 4.0]), np.array([[12.0]])] # global norm = 13
9clipped, norm = clip_by_global_norm(grads, max_norm=1.0)
10print(f"norm before: {norm:.1f}")
11print([np.round(g, 3).tolist() for g in clipped])
12print(f"norm after: {np.sqrt(sum(np.sum(g ** 2) for g in clipped)):.1f}")norm before: 13.0 [[0.231, 0.308], [[0.923]]] norm after: 1.0
Principais conclusões
Leia primeiro as curvas de perda: divergência, linhas planas, underfitting e overfitting parecem diferentes.
A perda inicial deve ser de cerca de ln(K); uma rede deve ser capaz de superajustar um pequeno lote.
Observe seus dados após o pré-processamento - muitos “bugs de modelo” são bugs de dados.
Corte gradientes de acordo com a norma global para impedir etapas únicas e incorretas; caçar NaNs na primeira perda não finita.
Quiz da aula
7 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Clipe por norma global
A primeira linha de entrada é max_norm; cada linha seguinte é o gradiente de um parâmetro (uma lista de números). Calcule a norma global de todos os gradientes juntos e, se exceder max_norm, dimensione cada gradiente por max_norm / norm. Imprima a norma antes (3 decimais), cada gradiente recortado em 3 decimais e a norma depois.
- Muito grande
- Já pequeno
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Diagnosticar a corrida
A entrada tem duas linhas: perdas de treinamento por época e depois perdas de validação. Faça um diagnóstico com estas regras, verificadas em ordem, e imprima o veredicto:
- qualquer perda é
nanouinf, ou a última perda de treinamento está acima da primeira →diverging: lower the learning rate - A última perda de treinamento é superior a 90% da primeira →
not learning: check the learning rate and the backward pass - a última perda de validação está mais de 10% acima da melhor perda de validação →
overfitting: regularize or stop early at epoch N(N = a melhor época de validação, contando a partir de 1) - caso contrário →
healthy
- Sobreajuste
- Divergente
- Preso
- Saudável
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…