Carregando
0x30Lição 4 de 18

Aprenda tokens de subpalavra com codificação de par de bytes

Veja como os tokenizadores modernos aprendem palavras reutilizáveis ​​a partir dos dados.

20 min Questionário com 6 perguntas 1 exercício de código
Ao final desta lição, você saberá
  • Explique o problema fora do vocabulário e por que as subpalavras o resolvem
  • Execute mesclagens de codificação de pares de bytes manualmente
  • Aplique mesclagens aprendidas para dividir uma palavra que o tokenizer nunca viu

Todo tokenizador enfrenta um dilema sobre seu vocabulário - o conjunto de tokens que ele conhece:

  • Palavras inteiras: uma palavra que falta no vocabulário (“não amigável”, um novo nome de produto, um erro de digitação) torna-se um token desconhecido e seu significado é perdido. Este é o problema do fora do vocabulário.
  • Caracteres únicos: nada é desconhecido, mas as frases tornam-se sequências muito longas e letras únicas têm pouco significado.

Subword tokenizers ficam no meio: palavras comuns permanecem inteiras e palavras raras são divididas em partes familiares como un + friend + li + est. Todos os modelos por trás dos assistentes de bate-papo atuais leem tokens de subpalavras.

Como o BPE aprende suas peças

O BPE aprende seu vocabulário a partir de um corpus, de baixo para cima:

  1. Comece com cada palavra dividida em caracteres únicos.
  2. Conte cada par de símbolos adjacentes no corpus (uma palavra vista 6 vezes conta 6 vezes).
  3. Mescle o par mais frequente em todos os lugares, criando um novo símbolo, e lembre-se dessa fusão.
  4. Repita até que o vocabulário fique do tamanho desejado.

Experimente

Até 15 XP

Seja o tokenizador

Este pequeno corpus é o exemplo clássico do artigo do BPE. A cada rodada, escolha o par adjacente que você acha mais frequente - lembre-se de multiplicar pela frequência com que cada palavra foi vista. Observe os símbolos verdes mesclados se transformarem em peças úteis como est.

Rodada 1 de 4Pontuação 0/0
Palavras do corpus divididas em seus símbolos atuais
PalavraSímbolos atuaisOcorrências
lowlow×5
lowerlower×2
newestnewest×6
widestwidest×3

Qual par adjacente aparece mais vezes no corpus? (Conte cada palavra tantas vezes quanto ela ocorreu.)

Dividindo uma nova palavra

Para tokenizar o texto, aplique as mesclagens aprendidas na ordem em que foram aprendidas. Aqui a palavra “mais baixo” nunca apareceu no treinamento, mas se divide em duas partes conhecidas:

apply_merges.py
1merges = [("e", "s"), ("es", "t"), ("l", "o"), ("lo", "w")]
2symbols = list("lowest")
3for first, second in merges:
4    merged = []
5    position = 0
6    while position < len(symbols):
7        if position + 1 < len(symbols) and (symbols[position], symbols[position + 1]) == (first, second):
8            merged.append(first + second)
9            position += 2
10        else:
11            merged.append(symbols[position])
12            position += 1
13    symbols = merged
14print(symbols)
Saída
['low', 'est']

Principais conclusões

  • Os vocabulários de palavras quebram-se em palavras invisíveis; vocabulários de caracteres tornam as sequências longas. Subpalavras equilibram os dois.

  • BPE aprende mesclagens unindo repetidamente o par adjacente mais frequente.

  • Novas palavras são divididas pela repetição das fusões aprendidas, de modo que nada é verdadeiramente desconhecido.

Quiz da aula

6 perguntas · aprovação com 5 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: aplique NLP com Python

Experimente cada ideia de processamento de texto em Python, execute com entradas de exemplo e use os resultados para ver onde o método funciona ou falha.

Exercício 1

Encontre a primeira mesclagem

+25 XP

Faça a primeira etapa do treinamento BPE. A primeira linha de entrada é o número de palavras N. Cada uma das próximas N linhas contém uma palavra e quantas vezes ela foi vista, como low 5.

Trate cada palavra como uma sequência de caracteres, conte cada par adjacente (ponderado pela contagem de palavras) e imprima o par mais frequente como a b: count. Se os pares empatarem, imprima o que vem primeiro em ordem alfabética (compare-os como strings "a b").

  • O corpus de papel do BPE (um empate)
  • Um vencedor claro
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…