Como as redes aprendem: perda e descida do gradiente
Desça pela superfície de perda, escolha uma taxa de aprendizado adequada e entenda como a retropropagação ajusta os pesos.
- Explicar a regra de atualização da descida do gradiente
- Prever o efeito de uma taxa de aprendizado pequena ou grande demais
- Descrever retropropagação, épocas e lotes em linguagem simples
Treinar uma rede significa encontrar pesos que reduzam a perda. Imagine a perda como uma paisagem montanhosa: cada configuração possível dos pesos é um ponto no terreno, e a altura mostra o quanto o modelo erra. Queremos chegar ao fundo do vale.
Você está na encosta, em meio a uma neblina densa. Não consegue ver o vale, mas sente a inclinação sob os pés. Dá um passo para baixo, sente de novo e repete. Isso é descida do gradiente.
O gradiente indica a inclinação: para que lado a perda aumenta e quão rápido. Por isso, damos um passo na direção oposta:
A letra grega (“eta”) representa a taxa de aprendizado: o tamanho do passo.
Experimente
Até 15 XPRole a bola morro abaixo
Pressione Avançar para dar um passo do gradiente e acompanhar a bola até o fundo da curva. Experimente a taxa de aprendizado: com 0,05 a bola avança devagar; perto de 0,5–1,0 chega rapidamente. Acima de 1,0, ela passa do ponto e oscila. Acima de 2, sairia voando.
1# Perda: (w - 3)² atinge o mínimo em w = 3. Sua inclinação (gradiente) é 2 * (w - 3).
2weight = -1.0
3learning_rate = 0.2
4for step in range(1, 9):
5 gradient = 2 * (weight - 3)
6 weight -= learning_rate * gradient
7 print(f"passo {step}: peso = {weight:.3f}, perda = {(weight - 3) ** 2:.4f}")passo 1: peso = 0.600, perda = 5.7600 passo 2: peso = 1.560, perda = 2.0736 passo 3: peso = 2.136, perda = 0.7465 passo 4: peso = 2.482, perda = 0.2687 passo 5: peso = 2.689, perda = 0.0967 passo 6: peso = 2.813, perda = 0.0348 passo 7: peso = 2.888, perda = 0.0125 passo 8: peso = 2.933, perda = 0.0045
Ajustando uma reta com descida do gradiente
A mesma ideia ajusta um modelo inteiro. A reta começa horizontal, com , e a descida do gradiente atualiza os dois parâmetros para reduzir o erro quadrático médio. O painel ao lado mostra a perda diminuindo a cada passo.
Experimente
Até 15 XPTreine uma reta
Escolha uma taxa de aprendizado e pressione “10 passos” algumas vezes. Com 0,01, a reta avança devagar; com 0,05, converge mais rápido. Depois tente 0,12: cada passo passa ainda mais longe, a perda explode e o exercício interrompe o processo.
Retropropagação, épocas e lotes
Uma rede real tem milhões de pesos e precisa do gradiente de cada um. A retropropagação calcula todos com eficiência. Ela começa na saída, onde o erro é conhecido, e volta camada por camada usando a regra da cadeia do cálculo: quanto cada peso contribuiu para o erro?
O treinamento se repete:
- Um lote é um pequeno grupo de exemplos (por exemplo, 32). Calculamos a média do gradiente do lote e atualizamos os pesos uma vez.
- Uma época é uma passagem completa pelos dados de treinamento. Com 10.000 exemplos e lotes de 100, uma época tem 100 atualizações.
- O treinamento roda por várias épocas. Acompanhamos a perda em dados separados para parar antes do sobreajuste.
Principais conclusões
A descida do gradiente repete : um pequeno passo em direção a uma perda menor.
A taxa de aprendizado define o tamanho do passo: pequena demais é lenta; grande demais ultrapassa o vale e diverge.
A retropropagação calcula o gradiente de cada peso começando pela saída e voltando pelas camadas.
Um lote produz uma atualização; uma época percorre todos os dados uma vez.
Quiz da aula
6 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Dê passos do gradiente
A perda é e o gradiente é . A entrada tem uma linha: início taxa_de_aprendizado passos. Execute os passos e imprima o peso após cada um com 4 casas decimais. Depois imprima convergiu se o peso final estiver a menos de 0,01 de 3, divergiu se estiver mais longe de 3 que no início e continua nos demais casos.
- Taxa adequada
- Muito baixa
- Muito alta
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Planeje um treinamento
A entrada é exemplos tamanho_do_lote épocas. O último lote de cada época pode ser menor. Imprima lotes por época: B, tamanho do último lote: S e atualizações totais: U.
- Divisão exata
- Lote restante
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…