Carregando
0x20Lição 3 de 18

Limpe o texto: stop words, radicais e lemas

Decida quais palavras eliminar e como reduzi-las a uma forma comum.

18 min Questionário com 6 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Remova stop words e explique quando isso ajuda ou prejudica
  • Distinga stemming de lematização
  • Escreva um stemmer pequeno baseado em regras

Conte as palavras em quase todos os textos em inglês e os vencedores serão sempre os mesmos: the, and, of, to, a. Um punhado de pequenas palavras constituem uma grande parte de todo o texto – um efeito conhecido como lei de Zipf. Eles mantêm frases juntas, mas dizem pouco sobre o assunto.

frequent_words.py
from collections import Counter
text = "the cat and the dog and the bird"
print(Counter(text.split()).most_common(2))
Saída
[('the', 3), ('and', 2)]

Stop words

Stop words são palavras muito frequentes que alguns pipelines removem para destacar palavras mais específicas. Isso pode ajudar uma busca por palavras-chave, mas palavras comuns também carregam significado: remover “not” pode inverter o sentimento de uma frase em inglês.

Experimente

Até 15 XP

Limpe uma avaliação

A avaliação em inglês é negativa. Ative Remover stop words e veja qual palavra que inverte o sentido desaparece. Depois ative Stem e observe como studies, running e learned mudam. Os resultados são sempre palavras reais?

21 tokens19 distintos (o vocabulário)
  1. I
  2. am
  3. not
  4. happy
  5. with
  6. the
  7. results
  8. ,
  9. but
  10. the
  11. studies
  12. were
  13. running
  14. smoothly
  15. and
  16. the
  17. researchers
  18. learned
  19. a
  20. lot
  21. .

Stemming e lematização

Ambos agrupam formas relacionadas, como study, studies e studying. A tabela mantém palavras inglesas para que você possa comparar os resultados com o código e com o jogo.

StemmingLematização
Como funcionaCorta terminações por regrasConsulta o vocabulário e a gramática
studiesstudistudy
betterbettergood
micemicemouse
VelocidadeMuito rápidoMais lento; requer um dicionário

Um stemmer, como o stemmer de Porter, é rápido, mas seu radical (studi) não precisa ser uma palavra real. Um lematizador devolve a forma de dicionário, o lema, e reconhece formas irregulares como mice e better. Para isso, precisa de vocabulário e, muitas vezes, da classe gramatical da palavra.

Experimente

Até 15 XP

Stemmer ou lematizador?

Cada item mostra uma palavra inglesa transformada. Classifique o resultado como stemming baseado em regras ou lematização baseada em dicionário. Radicais que não são palavras reais são uma pista.

0 de 6 classificadosPontuação 0/0
  • “studies → studi”

  • “mice → mouse”

  • “universal → univers”

  • “better → good”

  • “was → be”

  • “connection → connect”

Principais conclusões

  • Palavras irrelevantes são palavras muito comuns; removê-los pode aumentar a contagem e a pesquisa – ou excluir significados como “não”.

  • Stemming corta finais por regra (rápido, bruto); lematização encontra a forma do dicionário (mais lenta, mais inteligente).

  • Cada etapa de limpeza é uma troca: decida com base na tarefa e depois verifique o que ela faz com exemplos reais.

Quiz da aula

6 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: aplique NLP com Python

Experimente cada ideia de processamento de texto em Python, execute com entradas de exemplo e use os resultados para ver onde o método funciona ou falha.

Exercício 1

Remover palavras irrelevantes

+25 XP

Leia uma linha, converta-a em minúsculas, divida-a nos espaços e remova cada token que esteja em stop_words. Imprima os tokens restantes separados por um espaço.

  • Gato em uma esteira
  • Mantém outras palavras
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Escreva um stemmer pequeno

+25 XP

Leia uma linha de palavras inglesas em minúsculas e reduza cada uma com as regras abaixo, aplicando somente a primeira que corresponder:

  1. Se terminar em ing e tiver mais de 5 letras, remova ing.
  2. Se terminar em ed e tiver mais de 4 letras, remova ed.
  3. Se terminar em s, mas não em ss, remova s.

Imprima os radicais separados por um espaço.

  • Cada regra
  • Palavras curtas são deixadas em paz
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…