Carregando
0x40Lição 5 de 17

Funções de perda

Meça o quão errada uma rede está com erro quadrático médio e entropia cruzada, calculados de forma estável a partir de logits.

24 min Questionário com 7 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Escolha uma perda para regressão e para classificação
  • Calcular erro quadrático médio, entropia cruzada binária e entropia cruzada categórica
  • Explique por que a entropia cruzada pune erros confiantes e calcule-a de forma estável a partir de logits

O treinamento precisa de um único número que diga o quão errada a rede está: a perda. O treinamento nada mais é do que empurrar os pesos para diminuir esse número - então a perda define o que “bom” significa.

TarefaSaídaPerda habitual
Regressão (um preço, uma temperatura)um númeroerro quadrático médio
Classificação sim/nãouma probabilidade (sigmóide)entropia cruzada binária
Uma das classes KProbabilidades K (softmax)entropia cruzada categórica

Erro quadrático médio

MSE=1N∑i=1N(y^i−yi)2\text{MSE} = \frac{1}{N} \sum_{i=1}^{N} (\hat{y}_i - y_i)^2

A quadratura torna todos os erros positivos e pune as grandes falhas muito mais do que as pequenas - o que também torna o MSE sensível a valores discrepantes. Erro absoluto médio (MAE), a média de ∣y^−y∣|\hat{y} - y|, é mais suave com eles; a perda de Huber combina os dois.

Entropia cruzada

Para classificação, a rede gera probabilidades, e entropia cruzada é o logaritmo negativo da probabilidade que deu à classe correta:

CE=−log⁡pcorrect\text{CE} = -\log p_{\text{correct}}

Atribuiu à classe correta a probabilidade 0,9? Perda 0,105. Deu 0,5? Perda 0,693. Atribuiu à classe correta apenas 0,01? Perda 4.6. O logaritmo penaliza fortemente previsões erradas feitas com confiança - exatamente a pressão que você deseja. Para uma saída sim/não com probabilidade p e rótulo y ∈ {0, 1}, a mesma ideia é entropia cruzada binária: −[ylog⁡p+(1−y)log⁡(1−p)]-[y \log p + (1 - y)\log(1 - p)].

losses.py
1import numpy as np
2
3predicted = np.array([2.5, 0.0, 2.0, 8.0])
4actual = np.array([3.0, -0.5, 2.0, 7.0])
5print(f"MSE {np.mean((predicted - actual) ** 2):.3f}  MAE {np.mean(np.abs(predicted - actual)):.3f}")
6
7for p in [0.9, 0.5, 0.1, 0.01]:
8    print(f"p(correct) = {p:<4}  cross-entropy = {-np.log(p):.3f}")
Saída
MSE 0.375  MAE 0.500
p(correct) = 0.9   cross-entropy = 0.105
p(correct) = 0.5   cross-entropy = 0.693
p(correct) = 0.1   cross-entropy = 2.303
p(correct) = 0.01  cross-entropy = 4.605

De logits, de forma estável

Tomar np.log(softmax(z)) pode atingir log(0) = -inf quando uma probabilidade é insuficiente. Em vez disso, combine os dois com o truque log-sum-exp:

−log⁡softmax(z)c=log⁡∑jezj−zc,log⁡∑jezj=m+log⁡∑jezj−m-\log \text{softmax}(z)_c = \log \sum_j e^{z_j} - z_c, \qquad \log \sum_j e^{z_j} = m + \log \sum_j e^{z_j - m}

onde mm é o maior logit. É por isso que as estruturas oferecem perdas que levam logits brutos (CrossEntropyLoss de PyTorch, from_logits=True de Keras) - passam logits, não saída softmax, e você obtém estabilidade gratuitamente.

cross_entropy.py
1import numpy as np
2
3def cross_entropy(logits, labels):
4    shifted = logits - logits.max(axis=1, keepdims=True)
5    log_sum_exp = np.log(np.exp(shifted).sum(axis=1))
6    correct = shifted[np.arange(len(labels)), labels]
7    return np.mean(log_sum_exp - correct)
8
9logits = np.array([[2.0, 1.0, 0.1],
10                   [0.5, 2.5, 0.3],
11                   [1000.0, 0.0, -1000.0]])
12labels = np.array([0, 1, 2])
13print(f"{cross_entropy(logits, labels):.3f}")
Saída
666.879

O terceiro exemplo está totalmente errado (apostou tudo na classe 0, a resposta foi classe 2), então a perda média é enorme - mas finita. A versão ingênua imprimiria inf. Observe a indexação sofisticada shifted[np.arange(N), labels], que escolhe o logit de classe correta de cada linha.

Experimente

Até 15 XP

Escolha a perda

Escolha a perda com a qual você começaria para cada tarefa.

0 de 6 classificadosPontuação 0/0
  • “Preveja a temperatura de amanhã”

  • “Spam ou não spam?”

  • “Qual dos 10 dígitos está na imagem?”

  • “Estime a cobertura de tinta de um doodle (0-1)”

  • “Esta foto está marcada como “dragão”? (e separadamente “castelo”?)”

  • “Qual dos 50.000 tokens vem a seguir?”

Principais conclusões

  • A perda é minimizada pelo treinamento de um único número; define o que “bom” significa.

  • MSE para regressão (sensível a outliers); MAE ou Huber quando valores discrepantes são importantes.

  • Entropia cruzada, −log p(correto), para classificação - pune fortemente erros confiantes.

  • Calcule a entropia cruzada de logits com log-sum-exp; as perdas logit dos frameworks fazem isso por você.

Quiz da aula

7 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Entropia cruzada de logits

+25 XP

Cada linha de entrada é label logit0 logit1 ..., por exemplo. Calcule a entropia cruzada de cada exemplo estavelmente a partir dos logits (log-sum-exp), imprima-a com 4 casas decimais e, em seguida, imprima mean= e a média com 4 casas decimais. Alguns logits são enormes.

  • Enormes logits
  • logitos comuns
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Valores discrepantes: MSE vs MAE

+25 XP

Cada linha de entrada é predicted actual. Imprima o MSE e o MAE com 2 casas decimais, depois as mesmas duas perdas sem o pior exemplo (aquele com o maior erro absoluto), no formato all: MSE 4.25 MAE 1.50 / without worst: MSE 0.33 MAE 0.33. Observe qual perda o outlier domina.

  • Um valor discrepante
  • Sem valores discrepantes
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…