Limpe o texto: stop words, radicais e lemas
Decida quais palavras eliminar e como reduzi-las a uma forma comum.
- Remova stop words e explique quando isso ajuda ou prejudica
- Distinga stemming de lematização
- Escreva um stemmer pequeno baseado em regras
Conte as palavras em quase todos os textos em inglês e os vencedores serão sempre os mesmos: the, and, of, to, a. Um punhado de pequenas palavras constituem uma grande parte de todo o texto – um efeito conhecido como lei de Zipf. Eles mantêm frases juntas, mas dizem pouco sobre o assunto.
from collections import Counter
text = "the cat and the dog and the bird"
print(Counter(text.split()).most_common(2))[('the', 3), ('and', 2)]Stop words
Stop words são palavras muito frequentes que alguns pipelines removem para destacar palavras mais específicas. Isso pode ajudar uma busca por palavras-chave, mas palavras comuns também carregam significado: remover “not” pode inverter o sentimento de uma frase em inglês.
Experimente
Até 15 XPLimpe uma avaliação
A avaliação em inglês é negativa. Ative Remover stop words e veja qual palavra que inverte o sentido desaparece. Depois ative Stem e observe como studies, running e learned mudam. Os resultados são sempre palavras reais?
- I
- am
- not
- happy
- with
- the
- results
- ,
- but
- the
- studies
- were
- running
- smoothly
- and
- the
- researchers
- learned
- a
- lot
- .
Stemming e lematização
Ambos agrupam formas relacionadas, como study, studies e studying. A tabela mantém palavras inglesas para que você possa comparar os resultados com o código e com o jogo.
| Stemming | Lematização | |
|---|---|---|
| Como funciona | Corta terminações por regras | Consulta o vocabulário e a gramática |
| studies | studi | study |
| better | better | good |
| mice | mice | mouse |
| Velocidade | Muito rápido | Mais lento; requer um dicionário |
Um stemmer, como o stemmer de Porter, é rápido, mas seu radical (studi) não precisa ser uma palavra real. Um lematizador devolve a forma de dicionário, o lema, e reconhece formas irregulares como mice e better. Para isso, precisa de vocabulário e, muitas vezes, da classe gramatical da palavra.
Experimente
Até 15 XPStemmer ou lematizador?
Cada item mostra uma palavra inglesa transformada. Classifique o resultado como stemming baseado em regras ou lematização baseada em dicionário. Radicais que não são palavras reais são uma pista.
“studies → studi”
“mice → mouse”
“universal → univers”
“better → good”
“was → be”
“connection → connect”
Principais conclusões
Palavras irrelevantes são palavras muito comuns; removê-los pode aumentar a contagem e a pesquisa – ou excluir significados como “não”.
Stemming corta finais por regra (rápido, bruto); lematização encontra a forma do dicionário (mais lenta, mais inteligente).
Cada etapa de limpeza é uma troca: decida com base na tarefa e depois verifique o que ela faz com exemplos reais.
Quiz da aula
6 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: aplique NLP com Python
Experimente cada ideia de processamento de texto em Python, execute com entradas de exemplo e use os resultados para ver onde o método funciona ou falha.
Remover palavras irrelevantes
Leia uma linha, converta-a em minúsculas, divida-a nos espaços e remova cada token que esteja em stop_words. Imprima os tokens restantes separados por um espaço.
- Gato em uma esteira
- Mantém outras palavras
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Escreva um stemmer pequeno
Leia uma linha de palavras inglesas em minúsculas e reduza cada uma com as regras abaixo, aplicando somente a primeira que corresponder:
- Se terminar em
inge tiver mais de 5 letras, removaing. - Se terminar em
ede tiver mais de 4 letras, removaed. - Se terminar em
s, mas não emss, removas.
Imprima os radicais separados por um espaço.
- Cada regra
- Palavras curtas são deixadas em paz
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…