Do pré-treinamento à adaptação de modelos

Um modelo de chat é construído em etapas:

1. Pré-treinamento – previsão do próximo token de trilhões de tokens de páginas da web, livros, códigos e muito mais. É daí que vêm o conhecimento e a habilidade linguística, e vai quase toda a computação. O resultado é um modelo básico: brilhante para continuar o texto, não para seguir instruções.
2. Ajuste fino supervisionado (SFT) - treinamento em exemplos selecionados de instruções e boas respostas, para que o modelo se comporte como um assistente.
3. Ajuste de preferência - pessoas (ou modelos) comparam pares de respostas; o modelo é empurrado para os preferidos. RLHF (Ouyang et al., 2022) treina um modelo de recompensa e otimiza contra ele com aprendizagem por reforço; DPO (Rafailov et al., 2023) aprende diretamente dos pares de preferências, de forma mais simples.

Muitos modelos recentes adicionam aprendizado por reforço em tarefas verificáveis - problemas matemáticos e código com respostas verificáveis ​​- que ensina um “raciocínio” passo a passo mais longo antes de responder.

A computação de treinamento é aproximadamente $6ND$ operações de ponto flutuante, onde $N$ é a contagem de parâmetros e $D$ o número de tokens de treinamento (Kaplan et al., 2020). O estudo Chinchilla (Hoffmann et al., 2022) descobriu que, para um orçamento de computação fixo, os melhores resultados vêm de cerca de 20 tokens por parâmetro - muitos modelos anteriores eram muito grandes e mal treinados. Hoje, muitos modelos treinam muito além de 20× porque um modelo menor e mais barato de executar vale um treinamento extra.

Ajustar cada peso de um modelo grande é caro. LoRA (Hu et al., 2021) congela os pesos originais e aprende uma pequena atualização de classificação baixa: para uma matriz de peso $d_{in} \times d_{out}$, ele treina duas matrizes finas de classificação $r$, adicionando apenas parâmetros $r(d_{in} + d_{out})$. Com $r = 8$ isso está bem abaixo de 1% do original – pequeno o suficiente para treinar em uma GPU e manter muitos adaptadores para diferentes tarefas.