Redes neurais desde a base
Empilhe camadas lineares com ativações não lineares, rode uma propagação para a frente (forward pass) e veja por que uma camada oculta resolve o XOR.
- Descrever neurônios, camadas e funções de ativação
- Rodar um forward pass com numpy
- Explicar a retropropagação como gradiente descendente através das camadas
Um neurônio calcula uma soma ponderada das suas entradas mais um viés, e então aplica uma função de ativação. Uma camada são muitos neurônios lado a lado, então uma camada inteira é uma multiplicação de matrizes:
Uma rede neural empilha camadas: a saída de uma é a entrada da seguinte. A ativação não linear é essencial - sem ela, qualquer pilha de camadas lineares se reduz a uma única camada linear e só consegue traçar fronteiras retas.
A prova clássica é o XOR: a saída é 1 quando exatamente uma entrada é 1. Nenhuma linha reta sozinha separa esses pontos, mas uma rede com uma camada oculta de dois neurônios consegue.
Experimente
Até 15 XPLinear ou não?
Que problemas um único modelo linear (uma fronteira reta) consegue resolver, e quais precisam de uma camada oculta?
“AND: saída 1 só quando as duas entradas são 1”
“XOR: saída 1 quando exatamente uma entrada é 1”
“Pontos dentro de um círculo contra pontos fora dele”
“O preço cresce de forma constante com a área do imóvel”
“Reconhecer um gato numa foto”
Como as redes aprendem: retropropagação
O treino é o mesmo gradiente descendente de antes - só que com milhões de pesos. A retropropagação (backpropagation) calcula todos os gradientes com eficiência, aplicando a regra da cadeia de trás para a frente, da perda através de cada camada. Frameworks como PyTorch e JAX fazem isso automaticamente (“autograd”), então, na prática, você define o forward pass e a perda, e a biblioteca cuida do resto.
import numpy as np
z = np.array([-2.0, -0.5, 0.0, 1.5])
print(np.maximum(0, z))[0. 0. 0. 1.5]
Principais conclusões
Uma camada calcula ; uma rede empilha camadas.
Ativações não lineares permitem que as redes aprendam fronteiras curvas, como a do XOR.
A retropropagação aplica a regra da cadeia para obter todos os gradientes do gradiente descendente.
Quiz da aula
5 perguntas · aprovação com 4 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Um forward pass com numpy
A linha 1 é um objeto JSON com W1 (2×2), b1, W2 (1×2) e b2. Cada linha seguinte é uma entrada x1 x2. Calcule
e imprima x1 x2 -> y, com y formatado com :g.
- Uma rede que calcula o XOR
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Mostre que uma reta não resolve o XOR
Teste todas as regras lineares com cada um em −2, −1.5, …, 2 (passos de 0.5). Conte quantos dos quatro pontos do XOR cada regra acerta. Imprima best linear accuracy: N/4 e rules tried: R.
- XOR
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…