Carregando
0x50Lição 6 de 11

Escolha métricas de avaliação úteis

Leia uma matriz de confusão, calcule precisão, recall e F1, use a AUC da ROC e escolha métricas de regressão.

24 min Questionário com 7 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Montar uma matriz de confusão e calcular precisão, recall e F1
  • Explicar curvas ROC e a AUC
  • Escolher métricas a partir do custo de erros diferentes

A acurácia - a proporção de previsões corretas - pode enganar muito. Se 1% das transações são fraude, um modelo que sempre diz “legítima” tem 99% de acurácia e é completamente inútil. A matriz de confusão conta cada tipo de resultado: verdadeiros positivos (TP), falsos positivos (FP), falsos negativos (FN) e verdadeiros negativos (TN). A partir dela:

precision=TPTP+FP,recall=TPTP+FN,F1=2⋅precision⋅recallprecision+recall\text{precision} = \frac{TP}{TP + FP}, \qquad \text{recall} = \frac{TP}{TP + FN}, \qquad F_1 = \frac{2 \cdot \text{precision} \cdot \text{recall}}{\text{precision} + \text{recall}}

Precisão (precision): do que sinalizamos, quanto estava certo? Recall (revocação): do que realmente existia, quanto pegamos? O F1 é a média harmônica dos dois, que continua baixa se qualquer um deles for baixo.

Experimente

Até 15 XP

Que métrica importa mais?

Escolha a métrica que cada equipe deve acompanhar mais de perto.

0 de 5 classificadosPontuação 0/0
  • “Triagem de câncer: deixar passar um caso é muito pior do que um exame de acompanhamento”

  • “Filtro de spam: perder um e-mail importante é pior do que deixar passar algum spam”

  • “Estimar tempos de entrega em minutos”

  • “Encontrar todos os clientes afetados por um vazamento de dados”

  • “Bloquear contas automaticamente por fraude, em que cada bloqueio irrita um cliente de verdade”

Sem limiar: ROC e AUC

A precisão e o recall dependem do limiar. Uma curva ROC plota a taxa de verdadeiros positivos (recall) contra a taxa de falsos positivos FPFP+TN\frac{FP}{FP + TN} em todos os limiares. A área sob ela, a AUC, resume a qualidade da ordenação num único número: a probabilidade de um exemplo positivo aleatório receber uma pontuação maior que um negativo aleatório. 0,5 é chute aleatório; 1,0 é ordenação perfeita.

Para regressão, o erro absoluto médio (MAE) 1n∑∣y^i−yi∣\frac{1}{n} \sum |\hat{y}_i - y_i| fica nas unidades do próprio alvo (“erra 4 minutos, em média”); o RMSE penaliza mais os erros grandes.

accuracy_trap.py
1labels = [0] * 99 + [1]
2always_negative = [0] * 100
3accuracy = sum(a == b for a, b in zip(labels, always_negative)) / 100
4recall = 0 / 1
5print(accuracy, recall)
Saída
0.99 0.0

Principais conclusões

  • A acurácia esconde falhas em classes raras; leia a matriz de confusão.

  • Precisão: sinalizado e certo. Recall: real e pego. O F1 equilibra os dois.

  • A AUC mede a ordenação em todos os limiares; MAE e RMSE medem o erro de regressão.

Quiz da aula

7 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Matriz de confusão e métricas

+25 XP

A linha 1 tem os rótulos verdadeiros; a linha 2, os rótulos previstos (0/1). Imprima TP=a FP=b FN=c TN=d e depois accuracy, precision, recall e f1, cada um como NAME: X com 3 casas decimais (use 0.000 quando um denominador for 0).

  • Um modelo de fraude
  • Sempre negativo
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

AUC da ROC contando pares

+25 XP

A linha 1 tem os rótulos verdadeiros; a linha 2, as pontuações. Calcule a AUC como a proporção de pares (positivo, negativo) em que o positivo tem a pontuação maior, contando empates como meio. Imprima AUC: X (3 casas decimais).

  • As pontuações de fraude
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…