Busque por palavras-chave com BM25
Construa um índice invertido e ordene passagens com BM25, o burro de carga da busca por palavras-chave.
- Construir um índice invertido de palavras para documentos
- Explicar como o BM25 recompensa termos raros e repetidos e penaliza documentos longos
- Ajustar os parâmetros k1 e b do BM25
Antes dos embeddings, havia a busca por palavras-chave - e ela continua essencial. Os mecanismos de busca constroem um índice invertido: para cada palavra, a lista de documentos que a contêm, como o índice remissivo no fim de um livro. Consultar uma busca vira só ler algumas listas.
Para ordenar os resultados, a maioria dos mecanismos (Elasticsearch, OpenSearch, Lucene) usa o BM25. Para cada termo da consulta, ele multiplica:
- IDF - quão raro o termo é entre todos os documentos. “de” está em toda parte e quase não conta; “reposição” é raro e conta muito.
- Frequência do termo com saturação - um termo que aparece duas vezes ajuda mais do que uma vez, mas a 10ª repetição acrescenta pouco.
k1controla a velocidade dessa saturação. - Normalização pelo tamanho - uma ocorrência numa passagem curta e focada vale mais do que numa página prolixa.
bcontrola quanto o tamanho é penalizado.
Experimente
Até 15 XPExplorador de BM25
Teste cada consulta e leia as pontuações por termo. Depois: coloque b em 0 e veja a pontuação da página longa “Redefinir o roteador” subir para “redefinir senha” (o tamanho dela deixa de ser penalizado); coloque k1 em 0 e veja as repetições deixarem de importar; busque por “de”.
- 1. Redefinir a senha1,92
Para redefinir a senha, abra a página de login. Clique em Esqueci a senha e siga o link do e-mail.
redefinir: tf 1 · idf 0,88 → 0,79senha: tf 2 · idf 0,88 → 1,12 - 2. Redefinir o roteador1,09
Redefinir o roteador: segure o botão por dez segundos. Depois é preciso redefinir as configurações de rede e reconectar cada dispositivo à rede.
redefinir: tf 2 · idf 0,88 → 1,09senha: tf 0 · idf 0,88 → 0,00 - 3. Regras de senha0,89
As senhas precisam ter pelo menos 15 caracteres. Um gerenciador de senha pode gerar senhas longas.
redefinir: tf 0 · idf 0,88 → 0,00senha: tf 1 · idf 0,88 → 0,89 - 4. Alterar o e-mail0,00
Altere o seu endereço de e-mail nas configurações da conta.
redefinir: tf 0 · idf 0,88 → 0,00senha: tf 0 · idf 0,88 → 0,00 - 5. Erro E40120,00
O erro E4012 significa que o cartão de pagamento foi recusado pelo banco.
redefinir: tf 0 · idf 0,88 → 0,00senha: tf 0 · idf 0,88 → 0,00
1import math
2documents = 1000
3for term, containing in [("the", 990), ("password", 40), ("restocking", 2)]:
4 idf = math.log(1 + (documents - containing + 0.5) / (containing + 0.5))
5 print(f"{term}: {idf:.2f}")the: 0.01 password: 3.21 restocking: 5.99
Principais conclusões
Um índice invertido liga cada palavra aos documentos que a contêm.
BM25 = termos raros × frequência do termo com saturação × normalização pelo tamanho.
As palavras-chave se destacam com identificadores exatos; elas perdem sinônimos e paráfrases.
Quiz da aula
5 perguntas · aprovação com 4 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Construa um índice invertido
As linhas antes de --- são documentos: id text. As linhas depois são consultas. Construa um índice das palavras em minúsculas (re.findall(r"[a-z0-9]+", ...)) para os IDs dos documentos. Para cada consulta, imprima query: ids - os IDs que contêm todas as palavras dela, em ordem - ou query: none.
- Central de ajuda
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Pontue com BM25
A primeira linha é uma consulta; cada linha seguinte é id text. Usando as palavras em minúsculas de re.findall(r"[a-z0-9]+", ...) (sem o id), calcule o BM25 com e . Para cada termo da consulta, em que é quantos documentos o contêm:
Some sobre os termos distintos da consulta. Imprima id score (3 casas decimais) para pontuações acima de 0, da maior para a menor.
- Redefinir senha
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…