Carregando
0x30Lição 4 de 17

Camadas e passagem direta

Empilhe camadas em um perceptron multicamadas, execute um lote nele e conte seus parâmetros.

24 min Questionário com 7 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Descreva um perceptron multicamadas como uma cadeia de x @ W + be ativações
  • Acompanhe as formas do tensor em cada camada de uma passagem direta
  • Conte os parâmetros de uma rede e estime sua memória

Um perceptron multicamadas (MLP) - também chamado de rede totalmente conectada ou densa - encadeia camadas. Para os rabiscos do Neuro (5×5 = 25 pixels) e 4 tipos de rabiscos, um pequeno MLP se parece com:

input  (batch, 25)
  → Linear 25→16  → ReLU    hidden  (batch, 16)
  → Linear 16→4   → softmax output  (batch, 4)  probabilities

Executar entradas em todas as camadas para obter previsões é o passe direto. No código é surpreendentemente curto:

Camada de entradaCamada ocultaCamada ocultaCamada de saída
Uma rede neural profunda é formada por neurônios como o anterior, organizados em camadas conectadas.
mlp_forward.py
1import numpy as np
2
3rng = np.random.default_rng(42)
4W1, b1 = rng.normal(0, 0.3, size=(25, 16)), np.zeros(16)
5W2, b2 = rng.normal(0, 0.3, size=(16, 4)), np.zeros(4)
6
7def softmax(z):
8    exps = np.exp(z - z.max(axis=1, keepdims=True))
9    return exps / exps.sum(axis=1, keepdims=True)
10
11X = rng.integers(0, 2, size=(3, 25)).astype(float)   # 3 random doodles
12hidden = np.maximum(0, X @ W1 + b1)                    # (3, 16)
13probabilities = softmax(hidden @ W2 + b2)              # (3, 4)
14print(X.shape, hidden.shape, probabilities.shape)
15print(np.round(probabilities.sum(axis=1), 6))
16print(probabilities.argmax(axis=1))
Saída
(3, 25) (3, 16) (3, 4)
[1. 1. 1.]
[3 2 3]

Observe que o softmax funciona linha por linha (axis=1, keepdims=True), então cada exemplo obtém sua própria distribuição. argmax escolhe a classe mais provável. Com pesos aleatórios, as suposições de Neuro são, obviamente, absurdas – é com treinamento que elas ficam boas.

Parâmetros de contagem

Uma camada linear de recursos ninn_{in} a noutn_{out} tem pesos nin×noutn_{in} \times n_{out} mais vieses noutn_{out}. As ativações não possuem parâmetros. Para o doodle MLP: 25·16 + 16 + 16·4 + 4 = 484 parâmetros.

As redes reais são maiores: um MLP MNIST clássico, 784→128→64→10, tem cerca de 109.000 parâmetros; GPT-3 tem 175 bilhões. Cada float de 32 bits ocupa 4 bytes, então parâmetros × 4 são a memória apenas para armazenar os pesos - o treinamento precisa de várias vezes mais para gradientes e estado do otimizador.

Principais conclusões

  • Um MLP encadeia camadas lineares e ativações: h = relu(x @ W1 + b1), out = softmax(h @ W2 + b2).

  • A dimensão do lote permanece intacta; cada camada altera apenas a dimensão do recurso.

  • Uma camada linear tem pesos de entrada x saída mais vieses de saída; ativações não têm nenhuma.

  • Parâmetros × 4 bytes é o armazenamento para pesos float32; o treinamento precisa de mais.

Quiz da aula

7 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Execute o passagem direta do Neuro

+25 XP

O código inicial possui uma pequena rede treinada (3 entradas → 4 ocultas → 2 saídas, ReLU e depois softmax). Cada linha de entrada é um exemplo. Execute lote inteiro de uma só vez e, para cada exemplo, imprima as duas probabilidades com 3 casas decimais e a classe prevista (argmax):

0.905 0.095 -> 0
  • Três exemplos
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Orçamento de parâmetro

+25 XP

Cada linha de entrada descreve um MLP como tamanhos de camada, como 784 128 64 10. Imprima o número de pesos, desvios, o total e a memória para parâmetros float32 em megabytes (1 MB = 1.000.000 bytes) com 2 casas decimais:

784 128 64 10: weights=109184 biases=202 total=109386 memory=0.44 MB
  • Duas redes
  • Um largo
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…