Transforme texto em tokens
Normalize o texto e divida-o em partes que um sistema de linguagem possa processar.
- Explique o que é processamento de linguagem natural e onde você já o utiliza
- Normalize o texto e divida-o em tokens
- Diferencie tokens (cada ocorrência) de tipos (palavras distintas)
Processamento de linguagem natural (NLP) é como os computadores funcionam com a linguagem humana. Você o usa dezenas de vezes por dia: o filtro de spam que esconde lixo eletrônico, a caixa de pesquisa que encontra “tênis de corrida” quando você digita “tênis para corrida”, correção automática, tradução e assistentes de bate-papo.
Todos eles começam da mesma maneira. Para um computador, o texto é apenas uma sequência de caracteres - "Cats, DOGS" é C, a, t, s, , e assim por diante. Antes que qualquer coisa inteligente possa acontecer, o texto é limpo (normalizado) e cortado em unidades chamadas tokens.
1text = " Cats, DOGS, and cats! "
2normalized = " ".join(text.lower().split())
3print(normalized)
4print(normalized.split())cats, dogs, and cats! ['cats,', 'dogs,', 'and', 'cats!']
lower() torna Cats e cats iguais, split() corta qualquer espaço em branco e " ".join(...) cola as peças de volta com espaços únicos. Observe que a pontuação ainda está presa em cats, e cats! - a próxima lição corrige isso.
O que é um token?
Um token é uma unidade de texto que um sistema processa. Dependendo da ferramenta, os tokens podem ser palavras inteiras, sinais de pontuação, caracteres únicos ou pedaços de palavras (“token” + “izer”). Uma coleção de textos que você estuda ou aprende é chamada de corpus.
Experimente
Até 15 XPPlayground do tokenizador
Digite qualquer coisa e gire os interruptores um de cada vez. Observe dois números: tokens (cada ocorrência de palavra) e tokens distintos (o vocabulário).
- Ative Minúsculas: por que a contagem distinta cai enquanto a contagem de tokens permanece a mesma?
- Ative Remover pontuação: qual contagem muda agora?
- The
- cats
- chased
- the
- mice
- ,
- and
- the
- mice
- chased
- the
- cats
- !
Tokens e tipos
A frase inglesa “the cat saw the dog” tem 5 tokens e 4 tipos: the aparece duas vezes. Tipos são os tokens distintos, isto é, o vocabulário. Normalizar as letras pode unir tipos e reduzir o vocabulário que um modelo precisa aprender.
Principais conclusões
A NLP transforma caracteres brutos em unidades que um programa pode contar e comparar - começando com tokens.
A normalização (letras minúsculas, organização de espaços em branco) torna o texto consistente, mas pode descartar informações úteis.
Tokens contam cada ocorrência; tipos contam tokens distintos - o vocabulário.
Quiz da aula
7 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: aplique NLP com Python
Experimente cada ideia de processamento de texto em Python, execute com entradas de exemplo e use os resultados para ver onde o método funciona ou falha.
Normalizar uma frase
Leia uma linha, coloque-a em minúscula, apare as extremidades e reduza os espaços em branco repetidos para um espaço. Imprima o resultado.
- Caso e espaços mistos
- Já arrumado
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Contar tokens e tipos
Leia uma linha. Coloque-o em minúscula e divida-o em espaços em branco. Imprima tokens: N e depois types: M, onde N é o número de tokens e M o número de tokens distintos.
- Palavras repetidas
- Todos diferentes
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…