Projeto final: construa um pipeline de RAG
Divida em chunks, indexe, recupere e responda com citações - e se abstenha quando as fontes não cobrirem a pergunta.
- Dividir documentos em frases citáveis
- Recuperar o melhor chunk para uma pergunta
- Responder com uma citação, ou se abster abaixo de um limite
Hora de construir um pipeline de RAG inteiro (e minúsculo). Para ele rodar em qualquer lugar, o “gerador” é extrativo: responde com a própria frase que melhor corresponde, mais a citação dela. Trocar por um modelo de linguagem depois muda só a última etapa - a lógica de indexação, recuperação, citação e abstenção continua a mesma.
Dois exercícios:
- Indexar: dividir cada documento em frases com IDs estáveis, como
returns#2. - Responder: pontuar as frases em relação à pergunta, citar a melhor e dizer “não sei” quando a melhor pontuação for baixa demais.
def stem(word):
return word[:-1] if word.endswith("s") and len(word) > 3 else word
print([stem(word) for word in ["costs", "electronics", "is", "days"]])['cost', 'electronic', 'is', 'day']
Principais conclusões
Um pipeline de RAG é chunk → índice → recuperar → gerar com citações.
IDs de chunk estáveis tornam as citações possíveis.
Um limite de pontuação permite que o sistema se abstenha em vez de chutar.
Quiz da aula
5 perguntas · aprovação com 4 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Etapa 1: indexe as frases
Cada linha é doc|text. Divida o texto em frases com re.split(r"(?<=[.!?])\s+", text) e imprima cada uma como doc#N: sentence, numerando a partir de 1 dentro de cada documento.
- Dois documentos
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Etapa 2: responda com uma citação
As linhas antes de --- são documentos (doc|text); as linhas depois são perguntas. Indexe as frases como na etapa 1. Para cada pergunta:
- pegue as palavras dela (em minúsculas,
[a-z0-9]+), aplique o stemming comsteme descarte as palavras deSTOP; - pontue cada frase por quantas dessas palavras da pergunta aparecem entre as palavras dela após o stemming;
- escolha a maior pontuação (em caso de empate, vence a primeira frase).
Imprima question -> sentence [doc#N], ou question -> I don't know - no source covers that. se a melhor pontuação for menor que 2.
- Responder, responder, abster-se
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…