Aprenda um classificador com Naive Bayes
Deixe que exemplos rotulados, e não listas de palavras escritas à mão, decidam quais palavras são importantes.
- Explique como Naive Bayes transforma a contagem de palavras em probabilidades de classe
- Aplique suavização de Laplace e use logaritmos das probabilidades
- Treine e execute um filtro de spam a partir de mensagens marcadas
Listas de palavras escritas à mão não são escalonáveis: quem decide que “prêmio” é spam? Um classificador aprendido resolve isso a partir de exemplos rotulados - mensagens que pessoas já marcaram como spam ou não (“ham”). Naive Bayes é o clássico classificador de texto aprendido: ele alimentou os primeiros filtros de spam eficazes, é rápido de treinar e ainda é uma base sólida.
Experimente
Até 15 XPPense como um filtro de spam
Antes de qualquer matemática, classifique você mesmo essas mensagens. À medida que avança, observe quais palavras individuais o fizeram decidir - essa é exatamente a evidência que Naive Bayes coleta.
“GANHE um prêmio GRÁTIS agora, clique aqui!”
“Podemos mudar a reunião para as 15h?”
“Sua conta foi selecionada para uma recompensa em dinheiro”
“Obrigado pelo almoço, até amanhã”
“Ingressos grátis para o jantar da equipe na sexta-feira”
Contando evidências
Naive Bayes pergunta, para cada classe: qual a probabilidade desta mensagem, se fosse spam? se fosse não spam? Multiplica:
- a probabilidade prévia: quão comum é a classe (digamos, 40% das mensagens são spam) e
- para cada palavra na mensagem, : com que frequência essa palavra aparece nas mensagens de treinamento daquela classe.
É ingênuo porque finge que as palavras são independentes umas das outras - “grátis” e “prêmio” são pontuados separadamente, embora viajem juntos. A suposição está errada, mas o classificador funciona surpreendentemente bem.
Duas soluções práticas fazem com que funcione:
- Suavização de Laplace: uma palavra nunca vista em spam seria
P = 0e destruiria todo o produto. Em vez disso, use(count + 1) / (total words in class + vocabulary size). - Probabilidades de log: multiplicar centenas de pequenos números chega a 0,0 em um computador. Adicionar seus logaritmos (
log(a × b) = log a + log b) mantém os números saudáveis e a maior soma ainda vence.
1import math
2from collections import Counter
3
4spam_words = Counter("win money win prize".split())
5vocabulary_size = 6
6total = sum(spam_words.values())
7for word in ["win", "meeting"]:
8 probability = (spam_words[word] + 1) / (total + vocabulary_size)
9 print(word, round(probability, 2), round(math.log(probability), 2))win 0.3 -1.2 meeting 0.1 -2.3
Principais conclusões
Naive Bayes aprende quais palavras sinalizam cada classe a partir de exemplos rotulados.
Pontuação = log anterior + soma das probabilidades das palavras log; a pontuação mais alta vence.
Suavização lida com palavras invisíveis; logs evite números pequenos demais para serem armazenados.
Quiz da aula
6 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: aplique NLP com Python
Experimente cada ideia de processamento de texto em Python, execute com entradas de exemplo e use os resultados para ver onde o método funciona ou falha.
Treine um filtro de spam
A primeira linha contém N, o número de mensagens de treinamento. Cada uma das próximas N linhas contém label|message. A última linha é a nova mensagem que deve ser classificada.
Converta as mensagens em minúsculas e separe-as nos espaços. Para cada classe, calcule sobre as palavras da nova mensagem, onde V é a quantidade de palavras distintas no treino. Imprima a classe de maior pontuação; em caso de empate, escolha a primeira em ordem alfabética.
- Palavras com spam
- Mensagem de trabalho
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…