Carregando
0x20Lição 3 de 11

Modelos lineares e gradiente descendente

Ajuste uma reta minimizando uma perda, passo a passo, e veja como a taxa de aprendizado decide se o treino funciona.

25 min Questionário com 6 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Escrever um modelo linear e a sua perda de erro quadrático médio
  • Explicar o gradiente descendente e o papel da taxa de aprendizado
  • Implementar o gradiente descendente com numpy

Um modelo linear faz previsões com uma soma ponderada das features mais um viés: com uma feature, y^=wx+b\hat{y} = wx + b. Treinar significa encontrar o ww e o bb que deixam as previsões mais próximas dos alvos. “Mais próximas” é medido por uma função de perda; para regressão, a escolha habitual é o erro quadrático médio (MSE):

L(w,b)=1n∑i=1n(wxi+b−yi)2L(w, b) = \frac{1}{n} \sum_{i=1}^{n} \left(w x_i + b - y_i\right)^2

O gradiente descendente a minimiza descendo a ladeira repetidamente. O gradiente ∇L\nabla L aponta para cima, então cada passo move os parâmetros no sentido contrário, multiplicado pela taxa de aprendizado η\eta:

w←w−η∂L∂w,b←b−η∂L∂bw \leftarrow w - \eta \frac{\partial L}{\partial w}, \qquad b \leftarrow b - \eta \frac{\partial L}{\partial b}

Esse mesmo laço - prever, medir a perda, calcular os gradientes, dar o passo - treina tudo, da regressão linear aos grandes modelos de linguagem.

Experimente

Até 15 XP

Gradiente descendente, passo a passo

Comece em w=0,b=0w = 0, b = 0. Com taxa de aprendizado 0.01, dê 100 passos algumas vezes e veja a perda cair. Depois experimente 0.1 e, por fim, 0.6. O que acontece quando os passos são grandes demais?

Taxa de aprendizado:
y = 0.00x + 0.00
Perda (escala logarítmica) após 0 passo · agora 20.0
gradient.py
1import numpy as np
2x = np.array([0.0, 1.0, 2.0])
3y = np.array([1.0, 3.0, 5.0])
4w, b = 0.0, 0.0
5error = w * x + b - y
6print(2 * np.mean(error * x), 2 * np.mean(error))
Saída
-8.666666666666666 -6.0

Principais conclusões

  • Um modelo linear prevê y^=wx+b\hat{y} = wx + b; o treino minimiza uma perda como o erro quadrático médio.

  • O gradiente descendente dá passos repetidos contra o gradiente, multiplicados pela taxa de aprendizado η\eta.

  • Uma taxa de aprendizado grande demais diverge; pequena demais se arrasta. Features padronizadas ajudam.

Quiz da aula

6 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Erro quadrático médio

+25 XP

A linha 1 é w b; a linha 2 tem os valores de x; a linha 3, os valores de y. Imprima o erro quadrático médio de y^=wx+b\hat{y} = wx + b com 4 casas decimais, usando numpy.

  • Uma reta aproximada
  • Uma reta perfeita
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Ajuste uma reta com gradiente descendente

+25 XP

A linha 1 é LEARNING_RATE STEPS; a linha 2, os valores de x; a linha 3, os valores de y. Comece em w=b=0w = b = 0 e rode o gradiente descendente sobre o erro quadrático médio, usando

∂L∂w=2n∑(wxi+b−yi) xi,∂L∂b=2n∑(wxi+b−yi)\frac{\partial L}{\partial w} = \frac{2}{n} \sum (wx_i + b - y_i)\,x_i, \qquad \frac{\partial L}{\partial b} = \frac{2}{n} \sum (wx_i + b - y_i)

Imprima step S: loss L (4 casas decimais) depois dos passos 1, 10, 100 e do último passo (cada um uma vez, se ≤ STEPS) e depois w=W b=B (3 casas decimais). Se a perda passar de 10610^6 em algum momento, imprima diverged at step S e pare.

  • Converge
  • Taxa de aprendizado grande demais
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…