Avalie um classificador honestamente
Vá além da exatidão com precisão, recall, F1 e limite de decisão.
- Leia uma matriz de confusão
- Calcule precisão, recall e F1
- Escolha um limite de decisão para o trabalho em questão
Uma doença afeta 1 em cada 100 pessoas. Um “classificador” que diz saudável para todos é 99% preciso – e completamente inútil. Quando uma classe é rara, a precisão esconde o fracasso. Precisamos de medidas que considerem a classe com a qual realmente nos importamos.
A matriz de confusão
Cada previsão cai em uma das quatro células:
| Spam previsto | Não spam previsto | |
|---|---|---|
| Spam real | verdadeiro positivo (TP) | falso negativo (FN) |
| Não spam real | falso positivo (FP) | verdadeiro negativo (TN) |
- Precisão = TP / (TP + FP): entre as mensagens marcadas como spam, quantas eram spam?
- Recall = TP / (TP + FN): entre as mensagens que eram spam, quantas foram encontradas?
- F1 = 2 × precisão × recall / (precisão + recall): só fica alto quando ambos ficam altos.
Experimente
Até 15 XPAjuste um filtro de spam
Um filtro de spam atribui a cada mensagem uma pontuação de 0 a 1. Você escolhe o limite acima do qual a mensagem vai para a pasta de spam.
- Encontre um limite com 100% de recall (nenhum spam passa). Quanto isso custa para você?
- Encontre um com 100% de precisão (nenhum e-mail real é perdido). Quanto isso custa?
- Qual você escolheria para uma caixa de entrada pessoal, onde perder um e-mail real é pior do que ver um spam?
| Marcadas como spam | Classificadas como não spam | |
|---|---|---|
| Realmente spam | 5 positivos verdadeiros | 1 casos perdidos (falsos negativos) |
| Realmente não spam | 2 alarmes falsos (falsos positivos) | 3 negativos verdadeiros |
- 0.97GANHE um cruzeiro grátis!!! (spam)Marcadas como spam
- 0.91Reivindique seu prêmio em dinheiro (spam)Marcadas como spam
- 0.84Remédios baratos, sem receita (spam)Marcadas como spam
- 0.72Pizza grátis na sala de descanso (não spam)Marcadas como spam
- 0.66Oferta limitada para membros (spam)Marcadas como spam
- 0.58Sua fatura está anexada (não spam)Marcadas como spam
- 0.52Oferta exclusiva só para você (spam)Marcadas como spam
- 0.35Lembrete: dentista às 9h (não spam)não spam
- 0.28Olá, você está livre neste fim de semana? (spam)não spam
- 0.12Notas da reunião de hoje (não spam)não spam
- 0.05Feliz aniversário da mamãe (não spam)não spam
1true_positives, false_positives, false_negatives = 8, 2, 4
2precision = true_positives / (true_positives + false_positives)
3recall = true_positives / (true_positives + false_negatives)
4f1 = 2 * precision * recall / (precision + recall)
5print(round(precision, 2), round(recall, 2), round(f1, 2))0.8 0.67 0.73
Principais conclusões
A precisão engana quando as classes estão desequilibradas - observe a matriz de confusão.
Precision pergunta “as bandeiras estavam certas?”, recall pergunta “será que pegamos todas elas?”, F1 equilibra ambas.
O limiar troca um pelo outro; escolha pelo custo de cada tipo de erro.
Quiz da aula
6 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: aplique NLP com Python
Experimente cada ideia de processamento de texto em Python, execute com entradas de exemplo e use os resultados para ver onde o método funciona ou falha.
Calcular precisão, recall e F1
A primeira linha contém os rótulos verdadeiros e a segunda linha os rótulos previstos, como 1s (positivos) e 0s (negativos) separados por espaço. Imprima precision: P, recall: R e f1: F, cada um arredondado para 2 casas decimais. Trate qualquer 0/0 como 0.0.
- Um pouco de cada
- Classificador cauteloso
- Nada sinalizado
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…