Carregando
0xA0Lição 11 de 18

Avalie um classificador honestamente

Vá além da exatidão com precisão, recall, F1 e limite de decisão.

20 min Questionário com 6 perguntas 1 exercício de código
Ao final desta lição, você saberá
  • Leia uma matriz de confusão
  • Calcule precisão, recall e F1
  • Escolha um limite de decisão para o trabalho em questão

Uma doença afeta 1 em cada 100 pessoas. Um “classificador” que diz saudável para todos é 99% preciso – e completamente inútil. Quando uma classe é rara, a precisão esconde o fracasso. Precisamos de medidas que considerem a classe com a qual realmente nos importamos.

A matriz de confusão

Cada previsão cai em uma das quatro células:

Spam previstoNão spam previsto
Spam realverdadeiro positivo (TP)falso negativo (FN)
Não spam realfalso positivo (FP)verdadeiro negativo (TN)
  • Precisão = TP / (TP + FP): entre as mensagens marcadas como spam, quantas eram spam?
  • Recall = TP / (TP + FN): entre as mensagens que eram spam, quantas foram encontradas?
  • F1 = 2 × precisão × recall / (precisão + recall): só fica alto quando ambos ficam altos.

Experimente

Até 15 XP

Ajuste um filtro de spam

Um filtro de spam atribui a cada mensagem uma pontuação de 0 a 1. Você escolhe o limite acima do qual a mensagem vai para a pasta de spam.

  • Encontre um limite com 100% de recall (nenhum spam passa). Quanto isso custa para você?
  • Encontre um com 100% de precisão (nenhum e-mail real é perdido). Quanto isso custa?
  • Qual você escolheria para uma caixa de entrada pessoal, onde perder um e-mail real é pior do que ver um spam?
71%
Precisão
Entre as mensagens marcadas, quantas realmente são spam
83%
Revocação
Entre as mensagens que são spam, quantas foram marcadas
77%
F1
Uma medida que equilibra as duas métricas
Matriz de confusão
Marcadas como spamClassificadas como não spam
Realmente spam5 positivos verdadeiros1 casos perdidos (falsos negativos)
Realmente não spam2 alarmes falsos (falsos positivos)3 negativos verdadeiros
  • 0.97GANHE um cruzeiro grátis!!! (spam)Marcadas como spam
  • 0.91Reivindique seu prêmio em dinheiro (spam)Marcadas como spam
  • 0.84Remédios baratos, sem receita (spam)Marcadas como spam
  • 0.72Pizza grátis na sala de descanso (não spam)Marcadas como spam
  • 0.66Oferta limitada para membros (spam)Marcadas como spam
  • 0.58Sua fatura está anexada (não spam)Marcadas como spam
  • 0.52Oferta exclusiva só para você (spam)Marcadas como spam
  • 0.35Lembrete: dentista às 9h (não spam)não spam
  • 0.28Olá, você está livre neste fim de semana? (spam)não spam
  • 0.12Notas da reunião de hoje (não spam)não spam
  • 0.05Feliz aniversário da mamãe (não spam)não spam
metrics.py
1true_positives, false_positives, false_negatives = 8, 2, 4
2precision = true_positives / (true_positives + false_positives)
3recall = true_positives / (true_positives + false_negatives)
4f1 = 2 * precision * recall / (precision + recall)
5print(round(precision, 2), round(recall, 2), round(f1, 2))
Saída
0.8 0.67 0.73

Principais conclusões

  • A precisão engana quando as classes estão desequilibradas - observe a matriz de confusão.

  • Precision pergunta “as bandeiras estavam certas?”, recall pergunta “será que pegamos todas elas?”, F1 equilibra ambas.

  • O limiar troca um pelo outro; escolha pelo custo de cada tipo de erro.

Quiz da aula

6 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: aplique NLP com Python

Experimente cada ideia de processamento de texto em Python, execute com entradas de exemplo e use os resultados para ver onde o método funciona ou falha.

Exercício 1

Calcular precisão, recall e F1

+25 XP

A primeira linha contém os rótulos verdadeiros e a segunda linha os rótulos previstos, como 1s (positivos) e 0s (negativos) separados por espaço. Imprima precision: P, recall: R e f1: F, cada um arredondado para 2 casas decimais. Trate qualquer 0/0 como 0.0.

  • Um pouco de cada
  • Classificador cauteloso
  • Nada sinalizado
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…