Carregando
0x80Lição 9 de 11

Redes neurais desde a base

Empilhe camadas lineares com ativações não lineares, rode uma propagação para a frente (forward pass) e veja por que uma camada oculta resolve o XOR.

24 min Questionário com 5 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Descrever neurônios, camadas e funções de ativação
  • Rodar um forward pass com numpy
  • Explicar a retropropagação como gradiente descendente através das camadas

Um neurônio calcula uma soma ponderada das suas entradas mais um viés, e então aplica uma função de ativação. Uma camada são muitos neurônios lado a lado, então uma camada inteira é uma multiplicação de matrizes:

h=ReLU(Wx+b),ReLU(z)=max⁡(0,z)h = \mathrm{ReLU}(W x + b), \qquad \mathrm{ReLU}(z) = \max(0, z)

Uma rede neural empilha camadas: a saída de uma é a entrada da seguinte. A ativação não linear é essencial - sem ela, qualquer pilha de camadas lineares se reduz a uma única camada linear e só consegue traçar fronteiras retas.

A prova clássica é o XOR: a saída é 1 quando exatamente uma entrada é 1. Nenhuma linha reta sozinha separa esses pontos, mas uma rede com uma camada oculta de dois neurônios consegue.

Experimente

Até 15 XP

Linear ou não?

Que problemas um único modelo linear (uma fronteira reta) consegue resolver, e quais precisam de uma camada oculta?

0 de 5 classificadosPontuação 0/0
  • “AND: saída 1 só quando as duas entradas são 1”

  • “XOR: saída 1 quando exatamente uma entrada é 1”

  • “Pontos dentro de um círculo contra pontos fora dele”

  • “O preço cresce de forma constante com a área do imóvel”

  • “Reconhecer um gato numa foto”

Como as redes aprendem: retropropagação

O treino é o mesmo gradiente descendente de antes - só que com milhões de pesos. A retropropagação (backpropagation) calcula todos os gradientes com eficiência, aplicando a regra da cadeia de trás para a frente, da perda através de cada camada. Frameworks como PyTorch e JAX fazem isso automaticamente (“autograd”), então, na prática, você define o forward pass e a perda, e a biblioteca cuida do resto.

relu.py
import numpy as np
z = np.array([-2.0, -0.5, 0.0, 1.5])
print(np.maximum(0, z))
Saída
[0.  0.  0.  1.5]

Principais conclusões

  • Uma camada calcula activation(Wx+b)\mathrm{activation}(Wx + b); uma rede empilha camadas.

  • Ativações não lineares permitem que as redes aprendam fronteiras curvas, como a do XOR.

  • A retropropagação aplica a regra da cadeia para obter todos os gradientes do gradiente descendente.

Quiz da aula

5 perguntas · aprovação com 4 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Um forward pass com numpy

+25 XP

A linha 1 é um objeto JSON com W1 (2×2), b1, W2 (1×2) e b2. Cada linha seguinte é uma entrada x1 x2. Calcule

h=ReLU(W1x+b1),y=W2h+b2h = \mathrm{ReLU}(W_1 x + b_1), \qquad y = W_2 h + b_2

e imprima x1 x2 -> y, com y formatado com :g.

  • Uma rede que calcula o XOR
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Mostre que uma reta não resolve o XOR

+25 XP

Teste todas as regras lineares predict 1 if w1x1+w2x2+b>0\text{predict } 1 \text{ if } w_1 x_1 + w_2 x_2 + b > 0 com w1,w2,bw_1, w_2, b cada um em −2, −1.5, …, 2 (passos de 0.5). Conte quantos dos quatro pontos do XOR cada regra acerta. Imprima best linear accuracy: N/4 e rules tried: R.

  • XOR
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…