Mundo Tech Software SchoolMTSS

do primeiro conceito à prática com confiança

Modelos de linguagem de grande porte (LLMs)

Entenda como os modelos de linguagem aprendem, geram e são avaliados.

Começar a aprender 16 aulas · primeira aula com cerca de 22 min · grátis · sem cadastro
Sobre esta trilha

Veja os modelos por trás dos assistentes de IA atuais: como o texto se transforma em tokens, como a atenção e os Transformers preveem o próximo, como os modelos são treinados e ajustados, quanta memória eles precisam e como as configurações de decodificação moldam suas respostas.

Aprofunde-se em como os modelos modernos funcionam: posições rotativas e contexto longo, modelos de mistura de especialistas e de linguagem de visão, templates de chat, ajuste de preferência com RLHF e DPO, modelos de raciocínio que pensam antes de responder e os técnicas de inferência em produção - processamento em lote, quantização, decodificação especulativa - que os tornam rápidos e acessíveis.

Em seguida, coloque-os em prática – prompts, janelas de contexto, uso de ferramentas e agentes – e aprenda a avaliá-los e mantê-los seguros. Você fará amostragem de tokens com temperatura e top-p, calculará a atenção com NumPy, organizará conversas dentro de uma janela de contexto, executará um loop de agente limitado e terminará construindo e avaliando seu próprio modelo de linguagem minúsculo.

Antes de começar
  • Nenhuma experiência anterior em aprendizado de máquina é necessária.
  • Python básico ajuda; numpy é introduzido onde é usado.
  • Um navegador moderno com JavaScript habilitado.
Carregando progresso…
  1. Unidade 1 · 0/3 aulas

    Fundações de LLM

    Tokens e previsão do próximo token, atenção e transformadores, tamanho do modelo e memória. Medalha: Leitor de contexto

    1. 0x001Entenda os tokens e a previsão do próximo tokenVeja como o texto se transforma em tokens, como um modelo pontua o próximo token e como a perda e a perplexidade medem isso. 22 min 0/2 exercícios resolvidos 22 min 0/2 exercícios resolvidos
    2. 0x102Explore Transformers e atençãoCalcule a autoatenção manualmente, veja por que os LLMs mascaram o futuro e siga um bloco Transformer. 25 min 0/2 exercícios resolvidos 25 min 0/2 exercícios resolvidos
    3. 0x203Tamanho do modelo, memória e cache KVEstime quanta memória um modelo precisa, por que a quantização ajuda e quanto custa o cache KV. 20 min 0/2 exercícios resolvidos 20 min 0/2 exercícios resolvidos
  2. Unidade 2 · 0/4 aulas

    Treinamento e uso de LLMs

    Pré-treinamento e ajuste fino, prompts e contexto, decodificação, ferramentas e agentes. Medalha: Guia de modelo

    1. 0x304Do pré-treinamento à adaptação de modelosSiga um modelo desde o pré-treinamento em trilhões de tokens até o ajuste de instruções, ajuste de preferência e adaptadores baratos como LoRA. 24 min 0/2 exercícios resolvidos 24 min 0/2 exercícios resolvidos
    2. 0x405Crie prompts e gerencie o contextoEscreva prompts claros com funções, exemplos e formatos de saída e mantenha o que importa dentro da janela de contexto. 22 min 0/2 exercícios resolvidos 22 min 0/2 exercícios resolvidos
    3. 0x506Compreenda os controles de inferência e geraçãoTransforme logits em escolhas com temperatura, top-k e top-p e entenda latência, custo e streaming. 22 min 0/2 exercícios resolvidos 22 min 0/2 exercícios resolvidos
    4. 0x607Uso de ferramentas e agentesDeixe um modelo chamar funções, fazer um loop nos resultados da ferramenta como um agente e manter esse loop seguro. 22 min 0/2 exercícios resolvidos 22 min 0/2 exercícios resolvidos
  3. Unidade 3 · 0/3 aulas

    Por dentro dos LLMs modernos

    Posições e contexto longo, mistura de especialistas, entradas multimodais e modelos de chat. Medalha: Especialista em modelos

    1. 0x708Posições e contexto longoDescubra como um Transformer conhece a ordem das palavras, por que o RoPE assumiu o controle e por que uma janela de um milhão de tokens não significa um milhão de tokens de atenção. 25 min 0/2 exercícios resolvidos 25 min 0/2 exercícios resolvidos
    2. 0x809Mistura de especialistas e modelos multimodaisVeja como um roteador ativa apenas parte dos especialistas do modelo e como imagens viram tokens que um LLM pode processar. 25 min 0/2 exercícios resolvidos 25 min 0/2 exercícios resolvidos
    3. 0x9010Templates de chat e tokens especiaisEntenda como mensagens viram sequências de tokens, por que os marcadores especiais importam e como erros no template permitem ataques. 20 min 0/2 exercícios resolvidos 20 min 0/2 exercícios resolvidos
  4. Unidade 4 · 0/3 aulas

    Alinhamento, raciocínio e inferência em produção

    Ajuste por preferências, modelos de raciocínio, computação em tempo de teste e técnicas para executar modelos com eficiência. Medalha: Engenheiro de inferência

    1. 0xA011Ajuste por preferências: RLHF e DPOUse pares de respostas para ensinar preferências ao modelo e reconheça quando ele explora falhas da métrica de recompensa. 25 min 0/2 exercícios resolvidos 25 min 0/2 exercícios resolvidos
    2. 0xB012Modelos de raciocínio e computação em tempo de testeEntenda por que gerar tokens de raciocínio pode ajudar em problemas difíceis e quando o custo extra não compensa. 25 min 0/2 exercícios resolvidos 25 min 0/2 exercícios resolvidos
    3. 0xC013Execute LLMs com eficiênciaEntenda o custo da largura de banda de memória e como lotes, cache, quantização e decodificação especulativa aceleram a geração. 25 min 0/2 exercícios resolvidos 25 min 0/2 exercícios resolvidos
  5. Unidade 5 · 0/2 aulas

    Avaliação e uso responsável

    Meça a qualidade, identifique alucinações e adicione salvaguardas. Medalha: Avaliador cuidadoso

    1. 0xD014Avalie LLMs e use-os com responsabilidadeCrie avaliações para sua tarefa, use métricas como correspondência exata e pass@k e conheça os limites dos benchmarks e juízes LLM. 22 min 0/2 exercícios resolvidos 22 min 0/2 exercícios resolvidos
    2. 0xE015Alucinações, segurança e salvaguardasIdentifique afirmações inventadas, fundamente as respostas em fontes e mantenha pessoas no controle de ações arriscadas. 22 min 0/2 exercícios resolvidos 22 min 0/2 exercícios resolvidos
  6. Unidade 6 · 0/1 aulas

    Projeto final

    Crie e avalie um pequeno modelo de linguagem e gere texto com ele. Medalha: Engenheiro LLM

    1. 0xF016Projeto final: crie um pequeno modelo de linguagemTreine um modelo bigrama em nível de palavra, meça sua perplexidade e gere texto com temperatura. 30 min 0/2 exercícios resolvidos 30 min 0/2 exercícios resolvidos