Combine a busca por palavras-chave com a busca vetorial
Combine os rankings por palavras-chave e semânticos, e filtre por metadados e permissões do jeito certo.
- Explicar quando cada uma, a busca por palavras-chave e a semântica, vence
- Combinar rankings com a fusão por posição recíproca (RRF)
- Aplicar os filtros de metadados e de permissão antes do top-k, não depois
A busca por palavras-chave e a busca semântica falham de formas opostas: as palavras-chave perdem paráfrases (“dinheiro de volta” contra “reembolso”), os embeddings borram strings exatas (“E4012” contra “E4021”). A busca híbrida roda as duas e junta os resultados - e costuma vencer cada uma sozinha.
As pontuações delas não são comparáveis (uma pontuação BM25 de 7,3 contra um cosseno de 0,82), então a forma robusta mais simples de juntar ignora as pontuações e usa as posições: a fusão por posição recíproca (RRF, de reciprocal rank fusion; Cormack et al. 2009) dá a cada documento em cada lista em que ele aparece, com por convenção, e ordena pela soma.
Experimente
Até 15 XPQual busca vence?
Para cada consulta, qual abordagem tem mais chance de encontrar a passagem certa?
““erro E4012””
““como recebo o meu dinheiro de volta””
““SKU 88-1045-B dimensões””
““a minha encomenda nunca chegou””
““notas de versão do Kubernetes 1.31””
““posso levar o meu cachorro para o trabalho?” (a política fala em “animais de estimação”)”
Filtros: antes, não depois
Consultas reais vêm com restrições: o tenant deste cliente, os documentos que o usuário tem permissão de ver, o idioma ou a versão do produto certos, datas recentes. Guarde-as como metadados do chunk e filtre durante a busca.
Filtre antes de escolher o top k. Se você pegar os 10 melhores no geral e depois descartar os chunks que o usuário não pode ver, pode sobrar um resultado - ou nenhum -, mesmo que houvesse muitos chunks permitidos e relevantes mais abaixo.
1keyword = ["d3", "d1", "d2"]
2semantic = ["d1", "d4", "d3"]
3scores = {}
4for ranking in (keyword, semantic):
5 for rank, doc in enumerate(ranking, start=1):
6 scores[doc] = scores.get(doc, 0) + 1 / (60 + rank)
7print(max(scores, key=scores.get))d1
Principais conclusões
As palavras-chave pegam identificadores exatos; os embeddings pegam paráfrases - a busca híbrida pega os dois.
A fusão por posição recíproca junta rankings sem comparar pontuações incompatíveis.
Aplique os filtros de metadados e de permissão antes de selecionar o top k.
Quiz da aula
5 perguntas · aprovação com 4 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Fusão por posição recíproca
Cada linha da entrada é name: id id id ..., uma lista ordenada. Junte-as com RRF (k = 60, posições a partir de 1) e imprima id score (4 casas decimais) para cada documento, da maior para a menor pontuação, com empates por id.
- Listas por palavras-chave e vetorial
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Filtre antes do top-k
A primeira linha é tenant k. Cada linha seguinte é id tenant score. Imprima post-filter: IDS (top k no geral, depois mantendo os do tenant) e pre-filter: IDS (mantendo os do tenant, depois o top k), os dois na ordem da pontuação, ou none.
- Os chunks da Acme
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…