Carregando
0x30Lição 4 de 11

Classifique com regressão logística

Transforme uma pontuação linear numa probabilidade com a sigmoide, treine com log loss e escolha um limiar de decisão.

24 min Questionário com 5 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Explicar a sigmoide e por que ela produz probabilidades
  • Calcular a log loss e entender por que ela pune erros confiantes
  • Transformar probabilidades em decisões com um limiar

Na classificação, queremos uma probabilidade, não um número sem limites. A regressão logística calcula uma pontuação linear z=w⋅x+bz = w \cdot x + b e a comprime com a sigmoide:

σ(z)=11+e−z\sigma(z) = \frac{1}{1 + e^{-z}}

que leva qualquer pontuação para o intervalo (0,1)(0, 1): pontuações positivas grandes se aproximam de 1, negativas grandes se aproximam de 0, e z=0z = 0 dá exatamente 0,5. O resultado p=σ(z)p = \sigma(z) é lido como a probabilidade da classe positiva.

O treino minimiza a log loss (entropia cruzada binária):

L=−1n∑i=1n[yiln⁡pi+(1−yi)ln⁡(1−pi)]L = -\frac{1}{n} \sum_{i=1}^{n} \left[ y_i \ln p_i + (1 - y_i) \ln (1 - p_i) \right]

Uma previsão errada e confiante - p=0.99p = 0.99 para um exemplo que na verdade é negativo - custa −ln⁡0.01≈4.6-\ln 0.01 \approx 4.6, enquanto uma hesitante custa bem menos. Isso empurra o modelo a ser confiante só quando está certo.

Da probabilidade à decisão

Uma probabilidade não é uma decisão. Você escolhe um limiar (threshold): prever positivo quando p≥tp \ge t. O padrão de 0,5 raramente tem algo de especial - numa triagem de doença, você pode sinalizar pacientes com p≥0.2p \ge 0.2, porque deixar passar um caso é pior do que um exame a mais; para bloquear um pagamento, você pode exigir p≥0.9p \ge 0.9.

Experimente

Até 15 XP

Mova o limiar

Estas são as probabilidades de um modelo de fraude para 12 transações. Deslize o limiar e veja a precisão e o recall se compensarem.

60%
Precisão
Entre as mensagens marcadas, quantas realmente são fraude
60%
Revocação
Entre as mensagens que são fraude, quantas foram marcadas
60%
F1
Uma medida que equilibra as duas métricas
Matriz de confusão
Marcadas como fraudeClassificadas como legítima
Realmente fraude3 positivos verdadeiros2 casos perdidos (falsos negativos)
Realmente legítima2 alarmes falsos (falsos positivos)5 negativos verdadeiros
  • 0.95Cartão usado em dois países em menos de uma hora (fraude)Marcadas como fraude
  • 0.88Compra grande de eletrônicos às 3 da manhã (fraude)Marcadas como fraude
  • 0.72Dispositivo novo, endereço de entrega novo (fraude)Marcadas como fraude
  • 0.64Compras pequenas e frequentes de vale-presente (legítima)Marcadas como fraude
  • 0.55Primeira compra numa loja nova (legítima)Marcadas como fraude
  • 0.48Muitas tentativas de PIN com erro (fraude)legítima
  • 0.41Reserva de viagem no exterior (legítima)legítima
  • 0.33Compra pequena logo depois de uma redefinição de senha (fraude)legítima
  • 0.18Pedido online para o endereço de casa (legítima)legítima
  • 0.08Combustível no posto de sempre (legítima)legítima
  • 0.05Mercado de sempre, valor de sempre (legítima)legítima
  • 0.02Assinatura mensal de streaming (legítima)legítima
sigmoid.py
import numpy as np
z = np.array([-4.0, -1.0, 0.0, 1.0, 4.0])
print(np.round(1 / (1 + np.exp(-z)), 3))
Saída
[0.018 0.269 0.5   0.731 0.982]

Principais conclusões

  • Regressão logística: p=σ(w⋅x+b)p = \sigma(w \cdot x + b), uma probabilidade entre 0 e 1.

  • A log loss pune pesado os erros confiantes.

  • Escolha o limiar de decisão a partir do custo de cada tipo de erro.

Quiz da aula

5 perguntas · aprovação com 4 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Calcule a log loss

+25 XP

A linha 1 tem os rótulos verdadeiros (0 ou 1); a linha 2, as probabilidades previstas. Limite as probabilidades a [10−15,1−10−15][10^{-15}, 1 - 10^{-15}] e imprima a log loss com 4 casas decimais.

  • Quase tudo certo
  • Um erro confiante
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Treine uma regressão logística

+25 XP

A linha 1 é LEARNING_RATE STEPS. Cada linha seguinte é x1 x2 label. Comece com pesos e viés em 0 e rode o gradiente descendente sobre a log loss, com p=σ(Xw+b)p = \sigma(Xw + b):

∇wL=1nX⊤(p−y),∂L∂b=1n∑(pi−yi)\nabla_w L = \frac{1}{n} X^\top (p - y), \qquad \frac{\partial L}{\partial b} = \frac{1}{n} \sum (p_i - y_i)

Imprima w=[W1, W2] b=B (3 casas decimais), log loss: L (4 casas decimais) e training accuracy: A%, usando um limiar de 0,5.

  • Aprovado ou reprovado a partir das horas de estudo e de sono
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…