Carregando
0x90Lição 10 de 18

Aprenda um classificador com Naive Bayes

Deixe que exemplos rotulados, e não listas de palavras escritas à mão, decidam quais palavras são importantes.

25 min Questionário com 6 perguntas 1 exercício de código
Ao final desta lição, você saberá
  • Explique como Naive Bayes transforma a contagem de palavras em probabilidades de classe
  • Aplique suavização de Laplace e use logaritmos das probabilidades
  • Treine e execute um filtro de spam a partir de mensagens marcadas

Listas de palavras escritas à mão não são escalonáveis: quem decide que “prêmio” é spam? Um classificador aprendido resolve isso a partir de exemplos rotulados - mensagens que pessoas já marcaram como spam ou não (“ham”). Naive Bayes é o clássico classificador de texto aprendido: ele alimentou os primeiros filtros de spam eficazes, é rápido de treinar e ainda é uma base sólida.

Experimente

Até 15 XP

Pense como um filtro de spam

Antes de qualquer matemática, classifique você mesmo essas mensagens. À medida que avança, observe quais palavras individuais o fizeram decidir - essa é exatamente a evidência que Naive Bayes coleta.

0 de 5 classificadosPontuação 0/0
  • “GANHE um prêmio GRÁTIS agora, clique aqui!”

  • “Podemos mudar a reunião para as 15h?”

  • “Sua conta foi selecionada para uma recompensa em dinheiro”

  • “Obrigado pelo almoço, até amanhã”

  • “Ingressos grátis para o jantar da equipe na sexta-feira”

Contando evidências

Naive Bayes pergunta, para cada classe: qual a probabilidade desta mensagem, se fosse spam? se fosse não spam? Multiplica:

  • a probabilidade prévia: quão comum é a classe (digamos, 40% das mensagens são spam) e
  • para cada palavra na mensagem, P(word∣class)P(\text{word} \mid \text{class}): com que frequência essa palavra aparece nas mensagens de treinamento daquela classe.

É ingênuo porque finge que as palavras são independentes umas das outras - “grátis” e “prêmio” são pontuados separadamente, embora viajem juntos. A suposição está errada, mas o classificador funciona surpreendentemente bem.

Duas soluções práticas fazem com que funcione:

  1. Suavização de Laplace: uma palavra nunca vista em spam seria P = 0 e destruiria todo o produto. Em vez disso, use (count + 1) / (total words in class + vocabulary size).
  2. Probabilidades de log: multiplicar centenas de pequenos números chega a 0,0 em um computador. Adicionar seus logaritmos (log(a × b) = log a + log b) mantém os números saudáveis ​​e a maior soma ainda vence.
naive_bayes_score.py
1import math
2from collections import Counter
3
4spam_words = Counter("win money win prize".split())
5vocabulary_size = 6
6total = sum(spam_words.values())
7for word in ["win", "meeting"]:
8    probability = (spam_words[word] + 1) / (total + vocabulary_size)
9    print(word, round(probability, 2), round(math.log(probability), 2))
Saída
win 0.3 -1.2
meeting 0.1 -2.3

Principais conclusões

  • Naive Bayes aprende quais palavras sinalizam cada classe a partir de exemplos rotulados.

  • Pontuação = log anterior + soma das probabilidades das palavras log; a pontuação mais alta vence.

  • Suavização lida com palavras invisíveis; logs evite números pequenos demais para serem armazenados.

Quiz da aula

6 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: aplique NLP com Python

Experimente cada ideia de processamento de texto em Python, execute com entradas de exemplo e use os resultados para ver onde o método funciona ou falha.

Exercício 1

Treine um filtro de spam

+25 XP

A primeira linha contém N, o número de mensagens de treinamento. Cada uma das próximas N linhas contém label|message. A última linha é a nova mensagem que deve ser classificada.

Converta as mensagens em minúsculas e separe-as nos espaços. Para cada classe, calcule log⁡(prior)+∑log⁡count(word,label)+1total words in label+V\log(\text{prior}) + \sum \log \frac{\text{count}(\text{word},\text{label}) + 1}{\text{total words in label} + V} sobre as palavras da nova mensagem, onde V é a quantidade de palavras distintas no treino. Imprima a classe de maior pontuação; em caso de empate, escolha a primeira em ordem alfabética.

  • Palavras com spam
  • Mensagem de trabalho
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…