Carregando
0xB0Lição 12 de 17

Depuração do treinamento

Interprete curvas de perda, faça verificações de integridade e corrija gradientes explosivos e valores NaN.

26 min Questionário com 7 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Diagnosticar underfitting, overfitting e divergência de curvas de perda
  • Use verificações de integridade: a perda inicial, ajuste excessivo de um lote e inspeção de dados
  • Corte gradientes por norma global e rastreie NaNs

As redes neurais falham silenciosamente. Um bug raramente trava; isso apenas faz com que a rede aprenda um pouco pior e você pode perder dias. Praticantes experientes depuram metodicamente, começando com as curvas de perda:

O que você vêCausa provávelExperimente
A perda explode ou se torna NaNtaxa de aprendizado muito alta, dados incorretos, log(0)abaixe o LR, corte gradientes, verifique as entradas
Perda estável desde o iníciotaxa de aprendizado muito baixa, bug na passagem para trás, ReLUs mortosaumente o LR, verificação de gradiente, verifique init
Treinamento e validação altosunderfitting: modelo muito pequeno ou não treinado o suficientemodelo maior, treina mais
Trem baixo, validação aumentandosobreajusteregularizar, mais dados, parar antecipadamente
Perda muito barulhentalote muito pequeno, LR muito altolote maior, menor LR

Experimente

Até 15 XP

Diagnosticar a execução de treinamento

Cada descrição é o que um tratador do Doodle Lab viu em seu gráfico de perdas. Qual é o problema mais provável?

0 de 6 classificadosPontuação 0/0
  • “Perda: 2,3, 2,1, 9,8, 140, NaN”

  • “Trem 0,02, validação 1,40 e aumento”

  • “Trem 1.9, validação 1.9, quase não se movendo após 50 épocas, modelo minúsculo”

  • “Um classificador de 10 classes começa com perda de 0,0001 em seu primeiro lote”

  • “A precisão da validação é de exatamente 10% em um problema de 10 classes para sempre”

  • “A perda salta entre 0,8 e 3,0 a cada poucos passos e nunca se estabiliza”

Verificações de sanidade que salvam dias

  1. Verifique a perda inicial. Com classes K e pesos aleatórios, as previsões são quase uniformes, então a entropia cruzada deve começar perto de ln⁡K\ln K (2,30 para 10 classes). Longe? Algo está errado antes mesmo de o treinamento começar.
  2. Ajuste excessivo em um lote. Treine em um único lote de alguns exemplos. Uma rede funcional leva a perda a quase zero. Se não puder, há um bug – não adianta treinar tudo.
  3. Observe os dados. Trace algumas entradas com seus rótulos, após todo o pré-processamento. Dados rotulados incorretamente, normalização errada e rótulos embaralhados acidentalmente são deprimentemente comuns.
  4. Comece de forma simples. Primeiro, um modelo pequeno e uma boa taxa de aprendizado; adicione complexidade quando funcionar.
initial_loss.py
1import numpy as np
2
3rng = np.random.default_rng(0)
4for classes in (2, 10, 1000):
5    logits = rng.normal(0, 0.01, size=(256, classes))     # small random init
6    labels = rng.integers(0, classes, size=256)
7    shifted = logits - logits.max(axis=1, keepdims=True)
8    log_probs = shifted - np.log(np.exp(shifted).sum(axis=1, keepdims=True))
9    loss = -log_probs[np.arange(256), labels].mean()
10    print(f"{classes:>4} classes: initial loss {loss:.3f}, ln(K) = {np.log(classes):.3f}")
Saída
   2 classes: initial loss 0.693, ln(K) = 0.693
  10 classes: initial loss 2.303, ln(K) = 2.303
1000 classes: initial loss 6.907, ln(K) = 6.908

Explodindo gradientes e recorte de gradiente

Às vezes, um único lote infeliz produz um gradiente gigantesco e uma etapa desfaz horas de treinamento. O recorte de gradiente limita o tamanho da atualização: calcule a norma global de todos os gradientes juntos e, se exceder um limite, reduza cada gradiente pelo mesmo fator. A direção é preservada; apenas o comprimento é limitado. É padrão para redes recorrentes e transformadores.

clip.py
1import numpy as np
2
3def clip_by_global_norm(grads, max_norm):
4    total = np.sqrt(sum(np.sum(g ** 2) for g in grads))
5    scale = min(1.0, max_norm / (total + 1e-12))
6    return [g * scale for g in grads], total
7
8grads = [np.array([3.0, 4.0]), np.array([[12.0]])]       # global norm = 13
9clipped, norm = clip_by_global_norm(grads, max_norm=1.0)
10print(f"norm before: {norm:.1f}")
11print([np.round(g, 3).tolist() for g in clipped])
12print(f"norm after: {np.sqrt(sum(np.sum(g ** 2) for g in clipped)):.1f}")
Saída
norm before: 13.0
[[0.231, 0.308], [[0.923]]]
norm after: 1.0

Principais conclusões

  • Leia primeiro as curvas de perda: divergência, linhas planas, underfitting e overfitting parecem diferentes.

  • A perda inicial deve ser de cerca de ln(K); uma rede deve ser capaz de superajustar um pequeno lote.

  • Observe seus dados após o pré-processamento - muitos “bugs de modelo” são bugs de dados.

  • Corte gradientes de acordo com a norma global para impedir etapas únicas e incorretas; caçar NaNs na primeira perda não finita.

Quiz da aula

7 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Clipe por norma global

+25 XP

A primeira linha de entrada é max_norm; cada linha seguinte é o gradiente de um parâmetro (uma lista de números). Calcule a norma global de todos os gradientes juntos e, se exceder max_norm, dimensione cada gradiente por max_norm / norm. Imprima a norma antes (3 decimais), cada gradiente recortado em 3 decimais e a norma depois.

  • Muito grande
  • Já pequeno
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Diagnosticar a corrida

+25 XP

A entrada tem duas linhas: perdas de treinamento por época e depois perdas de validação. Faça um diagnóstico com estas regras, verificadas em ordem, e imprima o veredicto:

  1. qualquer perda é nan ou inf, ou a última perda de treinamento está acima da primeira → diverging: lower the learning rate
  2. A última perda de treinamento é superior a 90% da primeira → not learning: check the learning rate and the backward pass
  3. a última perda de validação está mais de 10% acima da melhor perda de validação → overfitting: regularize or stop early at epoch N (N = a melhor época de validação, contando a partir de 1)
  4. caso contrário → healthy
  • Sobreajuste
  • Divergente
  • Preso
  • Saudável
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…