Avalie um sistema de RAG

Não dá para melhorar o que você não mede - e o RAG tem muitos botões (tamanho do chunk, k, pesos da busca híbrida, reranker, prompt). Comece com um conjunto de avaliação: 50-200 perguntas realistas, cada uma com os chunks que a respondem e uma resposta de referência. Inclua paráfrases, perguntas com várias partes, perguntas de diferentes perfis de usuário e perguntas sem resposta que o sistema deve recusar.

Depois meça as duas etapas separadamente, para saber de onde veio uma falha:

• Recuperação: os chunks certos voltaram? → precision@k, recall@k, MRR, nDCG.
• Geração: dados os chunks, a resposta está correta, é relevante e é fiel (toda afirmação sustentada pelo contexto)?

As respostas são mais difíceis de pontuar do que os rankings. As equipes combinam:

• Fidelidade / fundamentação: a proporção de afirmações que o contexto sustenta.
• Relevância e correção da resposta em relação à resposta de referência.
• LLM como juiz: um modelo dá notas às respostas com uma rubrica. Escala bem, mas tem vieses - compare as notas dele com uma amostra de avaliações humanas antes de confiar nele.
• Abstenção: nas perguntas sem resposta, ele recusou?

Verificações simples de sobreposição de palavras são baratas, mas cegas ao significado: “não está coberto” e “está coberto” têm quase todas as palavras em comum. O exercício abaixo mostra exatamente essa falha.

Rode a avaliação a cada mudança (um novo tamanho de chunk, um novo modelo), como uma suíte de testes, e acompanhe a latência e o custo junto com a qualidade.