Projeto final: crie um pequeno modelo de linguagem
Treine um modelo bigrama em nível de palavra, meça sua perplexidade e gere texto com temperatura.
- Treine um modelo de linguagem bigrama suavizado a partir de texto
- Avalie-o com perplexidade no texto estendido
- Gere texto com avidez e com temperatura
É hora de construir todo o ciclo – treinamento, avaliação e geração – em um modelo pequeno o suficiente para ser lido. Um modelo bigram prevê cada palavra apenas a partir da anterior, usando contagens do texto de treinamento. LLMs reais substituem as contagens por um Transformer que analisa milhares de tokens anteriores, mas o formato do trabalho é o mesmo:
- Treinar: conte quais palavras seguem quais.
- Avaliar: perplexidade no texto que a modelo não viu.
- Gerar: escolha a próxima palavra, anexe, repita.
Pares de palavras invisíveis teriam probabilidade 0 (e perplexidade infinita), então usamos suavização por adição:
onde é o tamanho do vocabulário.
count_pair, count_previous, vocabulary = 0, 4, 10
print((count_pair + 1) / (count_previous + vocabulary))0.07142857142857142
Principais conclusões
O treinamento aprende estatísticas do próximo token; a suavização mantém possíveis pares invisíveis.
A perplexidade no texto apresentado mede o quão surpreso o modelo está.
A geração é repetida na escolha do próximo token - ganancioso ou amostrado com temperatura.
Quiz da aula
5 perguntas · aprovação com 4 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Treine e avalie um modelo bigrama
A linha 1 é o texto de treinamento; a linha 2 é o texto de teste (palavras minúsculas). V é o número de palavras distintas em ambas as linhas. Para cada par consecutivo no texto de teste, , onde count(prev) conta com que frequência prev é seguido por qualquer palavra no treinamento.
Imprima vocabulary: V e perplexity: X ( com a média de , 2 casas decimais).
- Frase no domínio
- Frase fora do domínio
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Gerar texto com temperatura
A linha 1 é o texto de treinamento; a linha 2 é START WORDS TEMPERATURE. A partir de START, gere até PALAVRAS a mais palavras. Para a palavra atual, reúna seus seguidores e contagens em treinamento (classificados em ordem alfabética); pare mais cedo se não tiver nenhum.
- Temperatura 0: escolha o seguidor mais frequente (em ordem alfabética em primeiro lugar nos empates).
- Caso contrário: chame
random.seed(0)uma vez no início e escolha comrandom.choices(followers, weights=[count ** (1 / temperature) ...])[0].
Imprima as palavras geradas unidas por espaços.
- Ambicioso
- Amostrado à temperatura 0,5
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…