Funções de perda
Meça o quão errada uma rede está com erro quadrático médio e entropia cruzada, calculados de forma estável a partir de logits.
- Escolha uma perda para regressão e para classificação
- Calcular erro quadrático médio, entropia cruzada binária e entropia cruzada categórica
- Explique por que a entropia cruzada pune erros confiantes e calcule-a de forma estável a partir de logits
O treinamento precisa de um único número que diga o quão errada a rede está: a perda. O treinamento nada mais é do que empurrar os pesos para diminuir esse número - então a perda define o que “bom” significa.
| Tarefa | Saída | Perda habitual |
|---|---|---|
| Regressão (um preço, uma temperatura) | um número | erro quadrático médio |
| Classificação sim/não | uma probabilidade (sigmóide) | entropia cruzada binária |
| Uma das classes K | Probabilidades K (softmax) | entropia cruzada categórica |
Erro quadrático médio
A quadratura torna todos os erros positivos e pune as grandes falhas muito mais do que as pequenas - o que também torna o MSE sensível a valores discrepantes. Erro absoluto médio (MAE), a média de , é mais suave com eles; a perda de Huber combina os dois.
Entropia cruzada
Para classificação, a rede gera probabilidades, e entropia cruzada é o logaritmo negativo da probabilidade que deu à classe correta:
Atribuiu à classe correta a probabilidade 0,9? Perda 0,105. Deu 0,5? Perda 0,693. Atribuiu à classe correta apenas 0,01? Perda 4.6. O logaritmo penaliza fortemente previsões erradas feitas com confiança - exatamente a pressão que você deseja. Para uma saída sim/não com probabilidade p e rótulo y ∈ {0, 1}, a mesma ideia é entropia cruzada binária: .
1import numpy as np
2
3predicted = np.array([2.5, 0.0, 2.0, 8.0])
4actual = np.array([3.0, -0.5, 2.0, 7.0])
5print(f"MSE {np.mean((predicted - actual) ** 2):.3f} MAE {np.mean(np.abs(predicted - actual)):.3f}")
6
7for p in [0.9, 0.5, 0.1, 0.01]:
8 print(f"p(correct) = {p:<4} cross-entropy = {-np.log(p):.3f}")MSE 0.375 MAE 0.500 p(correct) = 0.9 cross-entropy = 0.105 p(correct) = 0.5 cross-entropy = 0.693 p(correct) = 0.1 cross-entropy = 2.303 p(correct) = 0.01 cross-entropy = 4.605
De logits, de forma estável
Tomar np.log(softmax(z)) pode atingir log(0) = -inf quando uma probabilidade é insuficiente. Em vez disso, combine os dois com o truque log-sum-exp:
onde é o maior logit. É por isso que as estruturas oferecem perdas que levam logits brutos (CrossEntropyLoss de PyTorch, from_logits=True de Keras) - passam logits, não saída softmax, e você obtém estabilidade gratuitamente.
1import numpy as np
2
3def cross_entropy(logits, labels):
4 shifted = logits - logits.max(axis=1, keepdims=True)
5 log_sum_exp = np.log(np.exp(shifted).sum(axis=1))
6 correct = shifted[np.arange(len(labels)), labels]
7 return np.mean(log_sum_exp - correct)
8
9logits = np.array([[2.0, 1.0, 0.1],
10 [0.5, 2.5, 0.3],
11 [1000.0, 0.0, -1000.0]])
12labels = np.array([0, 1, 2])
13print(f"{cross_entropy(logits, labels):.3f}")666.879
O terceiro exemplo está totalmente errado (apostou tudo na classe 0, a resposta foi classe 2), então a perda média é enorme - mas finita. A versão ingênua imprimiria inf. Observe a indexação sofisticada shifted[np.arange(N), labels], que escolhe o logit de classe correta de cada linha.
Experimente
Até 15 XPEscolha a perda
Escolha a perda com a qual você começaria para cada tarefa.
“Preveja a temperatura de amanhã”
“Spam ou não spam?”
“Qual dos 10 dígitos está na imagem?”
“Estime a cobertura de tinta de um doodle (0-1)”
“Esta foto está marcada como “dragão”? (e separadamente “castelo”?)”
“Qual dos 50.000 tokens vem a seguir?”
Principais conclusões
A perda é minimizada pelo treinamento de um único número; define o que “bom” significa.
MSE para regressão (sensível a outliers); MAE ou Huber quando valores discrepantes são importantes.
Entropia cruzada, −log p(correto), para classificação - pune fortemente erros confiantes.
Calcule a entropia cruzada de logits com log-sum-exp; as perdas logit dos frameworks fazem isso por você.
Quiz da aula
7 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Entropia cruzada de logits
Cada linha de entrada é label logit0 logit1 ..., por exemplo. Calcule a entropia cruzada de cada exemplo estavelmente a partir dos logits (log-sum-exp), imprima-a com 4 casas decimais e, em seguida, imprima mean= e a média com 4 casas decimais. Alguns logits são enormes.
- Enormes logits
- logitos comuns
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Valores discrepantes: MSE vs MAE
Cada linha de entrada é predicted actual. Imprima o MSE e o MAE com 2 casas decimais, depois as mesmas duas perdas sem o pior exemplo (aquele com o maior erro absoluto), no formato all: MSE 4.25 MAE 1.50 / without worst: MSE 0.33 MAE 0.33. Observe qual perda o outlier domina.
- Um valor discrepante
- Sem valores discrepantes
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…