Carregando
0xA0Lição 11 de 17

Overfitting e regularização

Identifique o overfitting e reduza-o com mais dados, decaimento dos pesos, dropout, aumento de dados e parada antecipada.

28 min Questionário com 7 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Reconheça o overfitting devido à perda de treinamento e validação
  • Aplicar decaimento dos pesos, dropout e aumento de dados
  • Escolha quando parar de treinar com parada antecipada

Redes profundas têm tantos parâmetros que podem memorizar seu conjunto de treinamento – ruídos, erros de digitação e tudo. Isso é overfitting: a perda de treinamento continua caindo enquanto a perda em dados de validação retidos começa a aumentar. A rede está melhorando nos deveres de casa e piorando nas provas.

Sempre divida seus dados de três maneiras: treinar (para aprender), validação (para tomar decisões como quando parar) e teste (tocado uma vez, no final, para uma pontuação final honesta).

Experimente

Até 15 XP

Assista a um modelo overfit

Aumente a capacidade do modelo (aqui, o grau de um polinômio) e compare o erro de treinamento com o erro de validação. Descubra onde o erro de validação é menor - além disso, a capacidade extra apenas memoriza o ruído.

● treino · ○ validação
Erro por grau (escala logarítmica): treino em linha contínua, validação tracejada

Erro de treino

0.378

Erro de validação

0.277

Subajuste: o modelo é simples demais para acompanhar a curva.

A caixa de ferramentas de regularização:

TécnicaIdéia
Mais dadoso melhor regularizador de todos - real ou sintético
Aumento de dadoscrie novos exemplos de treinamento invertendo, cortando, girando e adicionando ruído; o rótulo permanece o mesmo
Queda de peso (L2)adicione λ2∥w∥2\frac{\lambda}{2}\lVert w \rVert^2 à perda, para que o gradiente ganhe λw\lambda w e os pesos permaneçam pequenos
Abandonodurante o treinamento, zere aleatoriamente uma fração p de ativações, para que nenhum neurônio possa confiar em qualquer outro
Parada antecipadamanter os pesos da época com melhor perda de validação
Modelo menormenos parâmetros, menos espaço para memorizar

Desistência, com cuidado

Dropout (2014) é maravilhosamente simples, com uma sutileza. Se você zerar metade das ativações durante o treinamento, a próxima camada verá entradas com metade do tamanho do momento do teste, quando nada for descartado. Desistência invertida corrige isso aumentando os sobreviventes em 11−p\frac{1}{1 - p} durante o treinamento, então na hora do teste você simplesmente não faz nada:

dropout.py
1import numpy as np
2
3def dropout(x, p, training, rng):
4    if not training or p == 0:
5        return x
6    keep = rng.random(x.shape) >= p
7    return x * keep / (1 - p)
8
9rng = np.random.default_rng(0)
10activations = np.ones((1000, 100))
11out = dropout(activations, 0.5, training=True, rng=rng)
12print(f"zeroed: {np.mean(out == 0):.3f}  mean: {out.mean():.3f}")
13print(np.array_equal(dropout(activations, 0.5, training=False, rng=rng), activations))
Saída
zeroed: 0.501  mean: 0.998
True

Principais conclusões

  • Overfitting: a perda de treinamento cai enquanto a perda de validação aumenta. Mantenha os conjuntos de treinamento, validação e teste separados.

  • Mais dados e aumento ajudam mais; a decaimento dos pesos mantém os pesos pequenos.

  • O dropout invertido zera as ativações com probabilidade p e dimensiona o restante em 1/(1−p), apenas no treinamento.

  • A parada antecipada mantém os pesos na melhor época de validação.

Quiz da aula

7 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Desistência invertida

+25 XP

A entrada é p rows cols. Implemente dropout(x, p, training, rng) (dropout invertido) e aplique-o a uma matriz de todos com esse formato com rng = np.random.default_rng(42). Imprima a fração de zeros e a média de 3 decimais para o modo de treinamento e, em seguida, se o modo de avaliação retorna a entrada inalterada: train: zeros=0.299 mean=1.001 / eval unchanged: True. Com p = 0, nada pode mudar mesmo no modo de treino.

  • p = 0,3
  • p = 0
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Parando cedo com paciência

+25 XP

A entrada tem paciência na primeira linha e perda de validação após cada época na segunda. O treinamento é interrompido quando a perda de validação não melhora em épocas patience consecutivas. Imprima a época em que o treinamento para e a melhor época (cujos pesos você manteria), contando as épocas a partir de 1, e a melhor perda: stopped after epoch 7, best epoch 4 (loss 0.410). Se nunca parar, imprima ran all N epochs, best epoch ....

  • Overfits após a época 4
  • Continua melhorando
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…