Aprenda tokens de subpalavra com codificação de par de bytes
Veja como os tokenizadores modernos aprendem palavras reutilizáveis a partir dos dados.
- Explique o problema fora do vocabulário e por que as subpalavras o resolvem
- Execute mesclagens de codificação de pares de bytes manualmente
- Aplique mesclagens aprendidas para dividir uma palavra que o tokenizer nunca viu
Todo tokenizador enfrenta um dilema sobre seu vocabulário - o conjunto de tokens que ele conhece:
- Palavras inteiras: uma palavra que falta no vocabulário (“não amigável”, um novo nome de produto, um erro de digitação) torna-se um token desconhecido e seu significado é perdido. Este é o problema do fora do vocabulário.
- Caracteres únicos: nada é desconhecido, mas as frases tornam-se sequências muito longas e letras únicas têm pouco significado.
Subword tokenizers ficam no meio: palavras comuns permanecem inteiras e palavras raras são divididas em partes familiares como un + friend + li + est. Todos os modelos por trás dos assistentes de bate-papo atuais leem tokens de subpalavras.
Como o BPE aprende suas peças
O BPE aprende seu vocabulário a partir de um corpus, de baixo para cima:
- Comece com cada palavra dividida em caracteres únicos.
- Conte cada par de símbolos adjacentes no corpus (uma palavra vista 6 vezes conta 6 vezes).
- Mescle o par mais frequente em todos os lugares, criando um novo símbolo, e lembre-se dessa fusão.
- Repita até que o vocabulário fique do tamanho desejado.
Experimente
Até 15 XPSeja o tokenizador
Este pequeno corpus é o exemplo clássico do artigo do BPE. A cada rodada, escolha o par adjacente que você acha mais frequente - lembre-se de multiplicar pela frequência com que cada palavra foi vista. Observe os símbolos verdes mesclados se transformarem em peças úteis como est.
| Palavra | Símbolos atuais | Ocorrências |
|---|---|---|
| low | low | ×5 |
| lower | lower | ×2 |
| newest | newest | ×6 |
| widest | widest | ×3 |
Qual par adjacente aparece mais vezes no corpus? (Conte cada palavra tantas vezes quanto ela ocorreu.)
Dividindo uma nova palavra
Para tokenizar o texto, aplique as mesclagens aprendidas na ordem em que foram aprendidas. Aqui a palavra “mais baixo” nunca apareceu no treinamento, mas se divide em duas partes conhecidas:
1merges = [("e", "s"), ("es", "t"), ("l", "o"), ("lo", "w")]
2symbols = list("lowest")
3for first, second in merges:
4 merged = []
5 position = 0
6 while position < len(symbols):
7 if position + 1 < len(symbols) and (symbols[position], symbols[position + 1]) == (first, second):
8 merged.append(first + second)
9 position += 2
10 else:
11 merged.append(symbols[position])
12 position += 1
13 symbols = merged
14print(symbols)['low', 'est']
Principais conclusões
Os vocabulários de palavras quebram-se em palavras invisíveis; vocabulários de caracteres tornam as sequências longas. Subpalavras equilibram os dois.
BPE aprende mesclagens unindo repetidamente o par adjacente mais frequente.
Novas palavras são divididas pela repetição das fusões aprendidas, de modo que nada é verdadeiramente desconhecido.
Quiz da aula
6 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: aplique NLP com Python
Experimente cada ideia de processamento de texto em Python, execute com entradas de exemplo e use os resultados para ver onde o método funciona ou falha.
Encontre a primeira mesclagem
Faça a primeira etapa do treinamento BPE. A primeira linha de entrada é o número de palavras N. Cada uma das próximas N linhas contém uma palavra e quantas vezes ela foi vista, como low 5.
Trate cada palavra como uma sequência de caracteres, conte cada par adjacente (ponderado pela contagem de palavras) e imprima o par mais frequente como a b: count. Se os pares empatarem, imprima o que vem primeiro em ordem alfabética (compare-os como strings "a b").
- O corpus de papel do BPE (um empate)
- Um vencedor claro
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…