Carregando
0xF0Lição 16 de 16

Projeto final: crie um pequeno modelo de linguagem

Treine um modelo bigrama em nível de palavra, meça sua perplexidade e gere texto com temperatura.

30 min Questionário com 5 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Treine um modelo de linguagem bigrama suavizado a partir de texto
  • Avalie-o com perplexidade no texto estendido
  • Gere texto com avidez e com temperatura

É hora de construir todo o ciclo – treinamento, avaliação e geração – em um modelo pequeno o suficiente para ser lido. Um modelo bigram prevê cada palavra apenas a partir da anterior, usando contagens do texto de treinamento. LLMs reais substituem as contagens por um Transformer que analisa milhares de tokens anteriores, mas o formato do trabalho é o mesmo:

  1. Treinar: conte quais palavras seguem quais.
  2. Avaliar: perplexidade no texto que a modelo não viu.
  3. Gerar: escolha a próxima palavra, anexe, repita.

Pares de palavras invisíveis teriam probabilidade 0 (e perplexidade infinita), então usamos suavização por adição:

P(word∣previous)=count(previous,word)+1count(previous)+VP(\text{word} \mid \text{previous}) = \frac{\text{count}(\text{previous}, \text{word}) + 1}{\text{count}(\text{previous}) + V}

onde VV é o tamanho do vocabulário.

smoothing.py
count_pair, count_previous, vocabulary = 0, 4, 10
print((count_pair + 1) / (count_previous + vocabulary))
Saída
0.07142857142857142

Principais conclusões

  • O treinamento aprende estatísticas do próximo token; a suavização mantém possíveis pares invisíveis.

  • A perplexidade no texto apresentado mede o quão surpreso o modelo está.

  • A geração é repetida na escolha do próximo token - ganancioso ou amostrado com temperatura.

Quiz da aula

5 perguntas · aprovação com 4 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Treine e avalie um modelo bigrama

+25 XP

A linha 1 é o texto de treinamento; a linha 2 é o texto de teste (palavras minúsculas). V é o número de palavras distintas em ambas as linhas. Para cada par consecutivo no texto de teste, P=count(prev,word)+1count(prev)+VP = \frac{\text{count}(\text{prev}, \text{word}) + 1}{\text{count}(\text{prev}) + V}, onde count(prev) conta com que frequência prev é seguido por qualquer palavra no treinamento.

Imprima vocabulary: V e perplexity: X (ee com a média de −ln⁡P-\ln P, 2 casas decimais).

  • Frase no domínio
  • Frase fora do domínio
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Gerar texto com temperatura

+25 XP

A linha 1 é o texto de treinamento; a linha 2 é START WORDS TEMPERATURE. A partir de START, gere até PALAVRAS a mais palavras. Para a palavra atual, reúna seus seguidores e contagens em treinamento (classificados em ordem alfabética); pare mais cedo se não tiver nenhum.

  • Temperatura 0: escolha o seguidor mais frequente (em ordem alfabética em primeiro lugar nos empates).
  • Caso contrário: chame random.seed(0) uma vez no início e escolha com random.choices(followers, weights=[count ** (1 / temperature) ...])[0].

Imprima as palavras geradas unidas por espaços.

  • Ambicioso
  • Amostrado à temperatura 0,5
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…