Carregando
0x70Lição 8 de 18

Como as redes aprendem: perda e descida do gradiente

Desça pela superfície de perda, escolha uma taxa de aprendizado adequada e entenda como a retropropagação ajusta os pesos.

22 min Questionário com 6 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Explicar a regra de atualização da descida do gradiente
  • Prever o efeito de uma taxa de aprendizado pequena ou grande demais
  • Descrever retropropagação, épocas e lotes em linguagem simples

Treinar uma rede significa encontrar pesos que reduzam a perda. Imagine a perda como uma paisagem montanhosa: cada configuração possível dos pesos é um ponto no terreno, e a altura mostra o quanto o modelo erra. Queremos chegar ao fundo do vale.

Você está na encosta, em meio a uma neblina densa. Não consegue ver o vale, mas sente a inclinação sob os pés. Dá um passo para baixo, sente de novo e repete. Isso é descida do gradiente.

O gradiente indica a inclinação: para que lado a perda aumenta e quão rápido. Por isso, damos um passo na direção oposta:

wnovo=wantigo−η⋅gradientew_{\text{novo}} = w_{\text{antigo}} - \eta \cdot \text{gradiente}

A letra grega η\eta (“eta”) representa a taxa de aprendizado: o tamanho do passo.

Experimente

Até 15 XP

Role a bola morro abaixo

Pressione Avançar para dar um passo do gradiente e acompanhar a bola até o fundo da curva. Experimente a taxa de aprendizado: com 0,05 a bola avança devagar; perto de 0,5–1,0 chega rapidamente. Acima de 1,0, ela passa do ponto e oscila. Acima de 2, sairia voando.

x = -1.50
Perda = 11.13
Gradiente = -4.50
passos realizados: 0
gradient_descent.py
1# Perda: (w - 3)² atinge o mínimo em w = 3. Sua inclinação (gradiente) é 2 * (w - 3).
2weight = -1.0
3learning_rate = 0.2
4for step in range(1, 9):
5    gradient = 2 * (weight - 3)
6    weight -= learning_rate * gradient
7    print(f"passo {step}: peso = {weight:.3f}, perda = {(weight - 3) ** 2:.4f}")
Saída
passo 1: peso = 0.600, perda = 5.7600
passo 2: peso = 1.560, perda = 2.0736
passo 3: peso = 2.136, perda = 0.7465
passo 4: peso = 2.482, perda = 0.2687
passo 5: peso = 2.689, perda = 0.0967
passo 6: peso = 2.813, perda = 0.0348
passo 7: peso = 2.888, perda = 0.0125
passo 8: peso = 2.933, perda = 0.0045

Ajustando uma reta com descida do gradiente

A mesma ideia ajusta um modelo inteiro. A reta y=wx+by = wx + b começa horizontal, com w=b=0w = b = 0, e a descida do gradiente atualiza os dois parâmetros para reduzir o erro quadrático médio. O painel ao lado mostra a perda diminuindo a cada passo.

Experimente

Até 15 XP

Treine uma reta

Escolha uma taxa de aprendizado e pressione “10 passos” algumas vezes. Com 0,01, a reta avança devagar; com 0,05, converge mais rápido. Depois tente 0,12: cada passo passa ainda mais longe, a perda explode e o exercício interrompe o processo.

Taxa de aprendizado:
y = 0.00x + 0.00
Perda (escala logarítmica) após 0 passo · agora 48.7

Retropropagação, épocas e lotes

Uma rede real tem milhões de pesos e precisa do gradiente de cada um. A retropropagação calcula todos com eficiência. Ela começa na saída, onde o erro é conhecido, e volta camada por camada usando a regra da cadeia do cálculo: quanto cada peso contribuiu para o erro?

O treinamento se repete:

  • Um lote é um pequeno grupo de exemplos (por exemplo, 32). Calculamos a média do gradiente do lote e atualizamos os pesos uma vez.
  • Uma época é uma passagem completa pelos dados de treinamento. Com 10.000 exemplos e lotes de 100, uma época tem 100 atualizações.
  • O treinamento roda por várias épocas. Acompanhamos a perda em dados separados para parar antes do sobreajuste.

Principais conclusões

  • A descida do gradiente repete w←w−η⋅gradientew \leftarrow w - \eta \cdot \text{gradiente}: um pequeno passo em direção a uma perda menor.

  • A taxa de aprendizado η\eta define o tamanho do passo: pequena demais é lenta; grande demais ultrapassa o vale e diverge.

  • A retropropagação calcula o gradiente de cada peso começando pela saída e voltando pelas camadas.

  • Um lote produz uma atualização; uma época percorre todos os dados uma vez.

Quiz da aula

6 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Dê passos do gradiente

+25 XP

A perda é L(w)=(w−3)2L(w) = (w - 3)^2 e o gradiente é 2(w−3)2(w - 3). A entrada tem uma linha: início taxa_de_aprendizado passos. Execute os passos e imprima o peso após cada um com 4 casas decimais. Depois imprima convergiu se o peso final estiver a menos de 0,01 de 3, divergiu se estiver mais longe de 3 que no início e continua nos demais casos.

  • Taxa adequada
  • Muito baixa
  • Muito alta
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Planeje um treinamento

+25 XP

A entrada é exemplos tamanho_do_lote épocas. O último lote de cada época pode ser menor. Imprima lotes por época: B, tamanho do último lote: S e atualizações totais: U.

  • Divisão exata
  • Lote restante
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…