Carregando
0xA0Lição 11 de 11

Projeto final: construa um pipeline de RAG

Divida em chunks, indexe, recupere e responda com citações - e se abstenha quando as fontes não cobrirem a pergunta.

35 min Questionário com 5 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Dividir documentos em frases citáveis
  • Recuperar o melhor chunk para uma pergunta
  • Responder com uma citação, ou se abster abaixo de um limite

Hora de construir um pipeline de RAG inteiro (e minúsculo). Para ele rodar em qualquer lugar, o “gerador” é extrativo: responde com a própria frase que melhor corresponde, mais a citação dela. Trocar por um modelo de linguagem depois muda só a última etapa - a lógica de indexação, recuperação, citação e abstenção continua a mesma.

Dois exercícios:

  1. Indexar: dividir cada documento em frases com IDs estáveis, como returns#2.
  2. Responder: pontuar as frases em relação à pergunta, citar a melhor e dizer “não sei” quando a melhor pontuação for baixa demais.
stem.py
def stem(word):
    return word[:-1] if word.endswith("s") and len(word) > 3 else word
print([stem(word) for word in ["costs", "electronics", "is", "days"]])
Saída
['cost', 'electronic', 'is', 'day']

Principais conclusões

  • Um pipeline de RAG é chunk → índice → recuperar → gerar com citações.

  • IDs de chunk estáveis tornam as citações possíveis.

  • Um limite de pontuação permite que o sistema se abstenha em vez de chutar.

Quiz da aula

5 perguntas · aprovação com 4 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Etapa 1: indexe as frases

+25 XP

Cada linha é doc|text. Divida o texto em frases com re.split(r"(?<=[.!?])\s+", text) e imprima cada uma como doc#N: sentence, numerando a partir de 1 dentro de cada documento.

  • Dois documentos
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Etapa 2: responda com uma citação

+25 XP

As linhas antes de --- são documentos (doc|text); as linhas depois são perguntas. Indexe as frases como na etapa 1. Para cada pergunta:

  • pegue as palavras dela (em minúsculas, [a-z0-9]+), aplique o stemming com stem e descarte as palavras de STOP;
  • pontue cada frase por quantas dessas palavras da pergunta aparecem entre as palavras dela após o stemming;
  • escolha a maior pontuação (em caso de empate, vence a primeira frase).

Imprima question -> sentence [doc#N], ou question -> I don't know - no source covers that. se a melhor pontuação for menor que 2.

  • Responder, responder, abster-se
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…