Modelos lineares e gradiente descendente
Ajuste uma reta minimizando uma perda, passo a passo, e veja como a taxa de aprendizado decide se o treino funciona.
- Escrever um modelo linear e a sua perda de erro quadrático médio
- Explicar o gradiente descendente e o papel da taxa de aprendizado
- Implementar o gradiente descendente com numpy
Um modelo linear faz previsões com uma soma ponderada das features mais um viés: com uma feature, . Treinar significa encontrar o e o que deixam as previsões mais próximas dos alvos. “Mais próximas” é medido por uma função de perda; para regressão, a escolha habitual é o erro quadrático médio (MSE):
O gradiente descendente a minimiza descendo a ladeira repetidamente. O gradiente aponta para cima, então cada passo move os parâmetros no sentido contrário, multiplicado pela taxa de aprendizado :
Esse mesmo laço - prever, medir a perda, calcular os gradientes, dar o passo - treina tudo, da regressão linear aos grandes modelos de linguagem.
Experimente
Até 15 XPGradiente descendente, passo a passo
Comece em . Com taxa de aprendizado 0.01, dê 100 passos algumas vezes e veja a perda cair. Depois experimente 0.1 e, por fim, 0.6. O que acontece quando os passos são grandes demais?
1import numpy as np
2x = np.array([0.0, 1.0, 2.0])
3y = np.array([1.0, 3.0, 5.0])
4w, b = 0.0, 0.0
5error = w * x + b - y
6print(2 * np.mean(error * x), 2 * np.mean(error))-8.666666666666666 -6.0
Principais conclusões
Um modelo linear prevê ; o treino minimiza uma perda como o erro quadrático médio.
O gradiente descendente dá passos repetidos contra o gradiente, multiplicados pela taxa de aprendizado .
Uma taxa de aprendizado grande demais diverge; pequena demais se arrasta. Features padronizadas ajudam.
Quiz da aula
6 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Erro quadrático médio
A linha 1 é w b; a linha 2 tem os valores de x; a linha 3, os valores de y. Imprima o erro quadrático médio de com 4 casas decimais, usando numpy.
- Uma reta aproximada
- Uma reta perfeita
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Ajuste uma reta com gradiente descendente
A linha 1 é LEARNING_RATE STEPS; a linha 2, os valores de x; a linha 3, os valores de y. Comece em e rode o gradiente descendente sobre o erro quadrático médio, usando
Imprima step S: loss L (4 casas decimais) depois dos passos 1, 10, 100 e do último passo (cada um uma vez, se ≤ STEPS) e depois w=W b=B (3 casas decimais). Se a perda passar de em algum momento, imprima diverged at step S e pare.
- Converge
- Taxa de aprendizado grande demais
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…