Carregando
0x40Lição 5 de 11

Combine a busca por palavras-chave com a busca vetorial

Combine os rankings por palavras-chave e semânticos, e filtre por metadados e permissões do jeito certo.

20 min Questionário com 5 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Explicar quando cada uma, a busca por palavras-chave e a semântica, vence
  • Combinar rankings com a fusão por posição recíproca (RRF)
  • Aplicar os filtros de metadados e de permissão antes do top-k, não depois

A busca por palavras-chave e a busca semântica falham de formas opostas: as palavras-chave perdem paráfrases (“dinheiro de volta” contra “reembolso”), os embeddings borram strings exatas (“E4012” contra “E4021”). A busca híbrida roda as duas e junta os resultados - e costuma vencer cada uma sozinha.

As pontuações delas não são comparáveis (uma pontuação BM25 de 7,3 contra um cosseno de 0,82), então a forma robusta mais simples de juntar ignora as pontuações e usa as posições: a fusão por posição recíproca (RRF, de reciprocal rank fusion; Cormack et al. 2009) dá a cada documento 1k+rank\frac{1}{k + \text{rank}} em cada lista em que ele aparece, com k=60k = 60 por convenção, e ordena pela soma.

Experimente

Até 15 XP

Qual busca vence?

Para cada consulta, qual abordagem tem mais chance de encontrar a passagem certa?

0 de 6 classificadosPontuação 0/0
  • ““erro E4012””

  • ““como recebo o meu dinheiro de volta””

  • ““SKU 88-1045-B dimensões””

  • ““a minha encomenda nunca chegou””

  • ““notas de versão do Kubernetes 1.31””

  • ““posso levar o meu cachorro para o trabalho?” (a política fala em “animais de estimação”)”

Filtros: antes, não depois

Consultas reais vêm com restrições: o tenant deste cliente, os documentos que o usuário tem permissão de ver, o idioma ou a versão do produto certos, datas recentes. Guarde-as como metadados do chunk e filtre durante a busca.

Filtre antes de escolher o top k. Se você pegar os 10 melhores no geral e depois descartar os chunks que o usuário não pode ver, pode sobrar um resultado - ou nenhum -, mesmo que houvesse muitos chunks permitidos e relevantes mais abaixo.

rrf.py
1keyword = ["d3", "d1", "d2"]
2semantic = ["d1", "d4", "d3"]
3scores = {}
4for ranking in (keyword, semantic):
5    for rank, doc in enumerate(ranking, start=1):
6        scores[doc] = scores.get(doc, 0) + 1 / (60 + rank)
7print(max(scores, key=scores.get))
Saída
d1

Principais conclusões

  • As palavras-chave pegam identificadores exatos; os embeddings pegam paráfrases - a busca híbrida pega os dois.

  • A fusão por posição recíproca junta rankings sem comparar pontuações incompatíveis.

  • Aplique os filtros de metadados e de permissão antes de selecionar o top k.

Quiz da aula

5 perguntas · aprovação com 4 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Fusão por posição recíproca

+25 XP

Cada linha da entrada é name: id id id ..., uma lista ordenada. Junte-as com RRF (k = 60, posições a partir de 1) e imprima id score (4 casas decimais) para cada documento, da maior para a menor pontuação, com empates por id.

  • Listas por palavras-chave e vetorial
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Filtre antes do top-k

+25 XP

A primeira linha é tenant k. Cada linha seguinte é id tenant score. Imprima post-filter: IDS (top k no geral, depois mantendo os do tenant) e pre-filter: IDS (mantendo os do tenant, depois o top k), os dois na ordem da pontuação, ou none.

  • Os chunks da Acme
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…