Linguagem e grandes modelos de linguagem
Divida textos em tokens, represente o significado das palavras com embeddings e gere texto prevendo um token por vez.
- Explicar o que são tokens e embeddings
- Comparar significados de palavras usando similaridade entre vetores
- Descrever como um modelo de linguagem gera texto e o que a temperatura altera
O processamento de linguagem natural (PLN) permite que computadores trabalhem com a linguagem humana: tradução, busca, filtros de spam, assistentes de voz e os chatbots de que todos falam.
O primeiro passo é sempre dividir o texto em tokens, as unidades que o modelo processa. Um token pode ser uma palavra inteira, mas grandes modelos de linguagem usam subpalavras para representar qualquer palavra, até uma que nunca viram. “Infelicidade”, por exemplo, pode virar “in” + “feliz” + “dade”. Uma regra aproximada para o inglês é quatro caracteres por token.
Embeddings: significado em vetores
Em seguida, cada token vira um vetor chamado embedding. Esses vetores são aprendidos para que palavras usadas de forma parecida fiquem próximas: “gato” perto de “cachorro”, “Paris” perto de “Roma”. As direções também carregam significado. Um exemplo famoso é .
Como medir a proximidade entre duas palavras? Usamos o produto escalar da lição de matemática, ajustado pelo comprimento dos vetores. Isso se chama similaridade do cosseno: 1 significa mesma direção, 0 indica ausência de relação e −1 indica direções opostas.
Experimente
Até 15 XPExplore um mapa de palavras
Embeddings reais têm centenas de dimensões; este mapa didático tem apenas duas para facilitar a visualização.
- No modo Comparar, clique em rei e rainha, depois em rei e mulher. Qual par aponta mais na mesma direção?
- No modo Resolver analogias, tente adivinhar antes de revelar a resposta. A seta de homem para mulher indica a direção de “tornar feminino”; somá-la a rei chega perto de rainha.
Clique em duas palavras no mapa. As setas partem da origem e apontam para cada palavra; quanto menor o ângulo entre elas, maior a similaridade do cosseno.
Nenhuma palavra selecionada.
1import math
2
3embeddings = {"cat": [0.9, 0.8, 0.1], "dog": [0.8, 0.9, 0.2], "car": [0.1, 0.2, 0.9]}
4
5def cosine(a, b):
6 dot = sum(x * y for x, y in zip(a, b))
7 return dot / (math.hypot(*a) * math.hypot(*b))
8
9print(f"gato-cachorro: {cosine(embeddings['cat'], embeddings['dog']):.2f}")
10print(f"gato-carro: {cosine(embeddings['cat'], embeddings['car']):.2f}")gato-cachorro: 0.99 gato-carro: 0.30
Modelos de linguagem: previsão do próximo token
Um modelo de linguagem faz uma coisa: dado o texto até agora, calcula uma probabilidade para cada possível próximo token. Para escrever, escolhe um token, acrescenta-o ao texto e repete. Um grande modelo de linguagem (LLM), como os usados em chatbots atuais, é uma enorme rede neural (um transformer) treinada dessa forma com trilhões de tokens. Seus bilhões de pesos acabam representando gramática, fatos e estilos de raciocínio.
O pequeno modelo abaixo aprendeu apenas quais palavras apareciam depois de outras em algumas frases. Monte uma frase escolhendo a próxima palavra.
Experimente
Até 15 XPGere texto palavra por palavra
Escolha cada próxima palavra entre as opções que este pequeno modelo aprendeu. Ele só conhece as sequências do texto usado no treinamento: não sabe se a frase produzida é verdadeira.
o
Depois de “o”, o texto de treinamento continua com… (escolha uma opção)
O modelo dá uma probabilidade a cada token, mas qual deve escolher? Sempre selecionar o mais provável deixa o texto repetitivo. A temperatura controla a aleatoriedade: uma temperatura baixa destaca as opções mais prováveis; uma temperatura alta achata as probabilidades e permite escolhas menos prováveis.
Experimente
Até 15 XPGire o controle de temperatura
Estes são os valores calculados pelo modelo para o próximo token. Gere 100 amostras com temperatura 1, depois com 0 (sempre escolhe o token mais provável), 0,3 e 2. Em qual configuração “Berlim” começa a aparecer?
A capital da França é ▁
- “ Paris”78.5%
- “ uma”9.6%
- “ chamada”5.8%
- “ conhecida”3.9%
- “ Lyon”1.2%
- “ não”0.6%
- “ Berlim”0.3%
Os tokens riscados foram removidos por top-k ou top-p; as probabilidades restantes são reescaladas para somar 100%.
Principais conclusões
O texto é dividido em tokens (muitas vezes subpalavras), e cada token vira um vetor de embedding.
Significados parecidos ficam próximos; a similaridade do cosseno mede essa proximidade.
Um modelo de linguagem prevê o próximo token, acrescenta-o e repete; a temperatura controla o quanto suas escolhas variam.
Um texto provável ainda pode ser falso: LLMs podem alucinar.
Quiz da aula
6 perguntas · aprovação com 5 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Monte um previsor da próxima palavra
A primeira linha contém um texto de treinamento. A segunda linha contém uma palavra. Conte quais palavras aparecem depois dela no texto (em minúsculas, separado por espaços) e imprima cada ocorrência com sua probabilidade como palavra: P (2 casas decimais), da mais provável para a menos provável; em caso de empate, use ordem alfabética. Se a palavra não tiver sucessora, imprima no prediction.
- Depois de "the"
- Depois de "sat"
- Desconhecida
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Encontre a palavra mais parecida
A primeira linha contém uma palavra de consulta. Cada linha restante contém palavra v1 v2 ..., um embedding. Imprima cada outra palavra com sua similaridade do cosseno em relação à consulta (2 casas decimais), da mais parecida para a menos parecida; depois imprima closest: PALAVRA.
- Animais
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…