Escolha métricas de avaliação úteis
Leia uma matriz de confusão, calcule precisão, recall e F1, use a AUC da ROC e escolha métricas de regressão.
- Montar uma matriz de confusão e calcular precisão, recall e F1
- Explicar curvas ROC e a AUC
- Escolher métricas a partir do custo de erros diferentes
A acurácia - a proporção de previsões corretas - pode enganar muito. Se 1% das transações são fraude, um modelo que sempre diz “legítima” tem 99% de acurácia e é completamente inútil. A matriz de confusão conta cada tipo de resultado: verdadeiros positivos (TP), falsos positivos (FP), falsos negativos (FN) e verdadeiros negativos (TN). A partir dela:
Precisão (precision): do que sinalizamos, quanto estava certo? Recall (revocação): do que realmente existia, quanto pegamos? O F1 é a média harmônica dos dois, que continua baixa se qualquer um deles for baixo.
Experimente
Até 15 XPQue métrica importa mais?
Escolha a métrica que cada equipe deve acompanhar mais de perto.
“Triagem de câncer: deixar passar um caso é muito pior do que um exame de acompanhamento”
“Filtro de spam: perder um e-mail importante é pior do que deixar passar algum spam”
“Estimar tempos de entrega em minutos”
“Encontrar todos os clientes afetados por um vazamento de dados”
“Bloquear contas automaticamente por fraude, em que cada bloqueio irrita um cliente de verdade”
Sem limiar: ROC e AUC
A precisão e o recall dependem do limiar. Uma curva ROC plota a taxa de verdadeiros positivos (recall) contra a taxa de falsos positivos em todos os limiares. A área sob ela, a AUC, resume a qualidade da ordenação num único número: a probabilidade de um exemplo positivo aleatório receber uma pontuação maior que um negativo aleatório. 0,5 é chute aleatório; 1,0 é ordenação perfeita.
Para regressão, o erro absoluto médio (MAE) fica nas unidades do próprio alvo (“erra 4 minutos, em média”); o RMSE penaliza mais os erros grandes.
1labels = [0] * 99 + [1]
2always_negative = [0] * 100
3accuracy = sum(a == b for a, b in zip(labels, always_negative)) / 100
4recall = 0 / 1
5print(accuracy, recall)0.99 0.0
Principais conclusões
A acurácia esconde falhas em classes raras; leia a matriz de confusão.
Precisão: sinalizado e certo. Recall: real e pego. O F1 equilibra os dois.
A AUC mede a ordenação em todos os limiares; MAE e RMSE medem o erro de regressão.
Quiz da aula
7 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Matriz de confusão e métricas
A linha 1 tem os rótulos verdadeiros; a linha 2, os rótulos previstos (0/1). Imprima TP=a FP=b FN=c TN=d e depois accuracy, precision, recall e f1, cada um como NAME: X com 3 casas decimais (use 0.000 quando um denominador for 0).
- Um modelo de fraude
- Sempre negativo
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
AUC da ROC contando pares
A linha 1 tem os rótulos verdadeiros; a linha 2, as pontuações. Calcule a AUC como a proporção de pares (positivo, negativo) em que o positivo tem a pontuação maior, contando empates como meio. Imprima AUC: X (3 casas decimais).
- As pontuações de fraude
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…