Carregando
0x20Lição 3 de 11

Busque por palavras-chave com BM25

Construa um índice invertido e ordene passagens com BM25, o burro de carga da busca por palavras-chave.

22 min Questionário com 5 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Construir um índice invertido de palavras para documentos
  • Explicar como o BM25 recompensa termos raros e repetidos e penaliza documentos longos
  • Ajustar os parâmetros k1 e b do BM25

Antes dos embeddings, havia a busca por palavras-chave - e ela continua essencial. Os mecanismos de busca constroem um índice invertido: para cada palavra, a lista de documentos que a contêm, como o índice remissivo no fim de um livro. Consultar uma busca vira só ler algumas listas.

Para ordenar os resultados, a maioria dos mecanismos (Elasticsearch, OpenSearch, Lucene) usa o BM25. Para cada termo da consulta, ele multiplica:

  • IDF - quão raro o termo é entre todos os documentos. “de” está em toda parte e quase não conta; “reposição” é raro e conta muito.
  • Frequência do termo com saturação - um termo que aparece duas vezes ajuda mais do que uma vez, mas a 10ª repetição acrescenta pouco. k1 controla a velocidade dessa saturação.
  • Normalização pelo tamanho - uma ocorrência numa passagem curta e focada vale mais do que numa página prolixa. b controla quanto o tamanho é penalizado.

Experimente

Até 15 XP

Explorador de BM25

Teste cada consulta e leia as pontuações por termo. Depois: coloque b em 0 e veja a pontuação da página longa “Redefinir o roteador” subir para “redefinir senha” (o tamanho dela deixa de ser penalizado); coloque k1 em 0 e veja as repetições deixarem de importar; busque por “de”.

  1. 1. Redefinir a senha1,92

    Para redefinir a senha, abra a página de login. Clique em Esqueci a senha e siga o link do e-mail.

    redefinir: tf 1 · idf 0,88 → 0,79senha: tf 2 · idf 0,88 → 1,12
  2. 2. Redefinir o roteador1,09

    Redefinir o roteador: segure o botão por dez segundos. Depois é preciso redefinir as configurações de rede e reconectar cada dispositivo à rede.

    redefinir: tf 2 · idf 0,88 → 1,09senha: tf 0 · idf 0,88 → 0,00
  3. 3. Regras de senha0,89

    As senhas precisam ter pelo menos 15 caracteres. Um gerenciador de senha pode gerar senhas longas.

    redefinir: tf 0 · idf 0,88 → 0,00senha: tf 1 · idf 0,88 → 0,89
  4. 4. Alterar o e-mail0,00

    Altere o seu endereço de e-mail nas configurações da conta.

    redefinir: tf 0 · idf 0,88 → 0,00senha: tf 0 · idf 0,88 → 0,00
  5. 5. Erro E40120,00

    O erro E4012 significa que o cartão de pagamento foi recusado pelo banco.

    redefinir: tf 0 · idf 0,88 → 0,00senha: tf 0 · idf 0,88 → 0,00
idf.py
1import math
2documents = 1000
3for term, containing in [("the", 990), ("password", 40), ("restocking", 2)]:
4    idf = math.log(1 + (documents - containing + 0.5) / (containing + 0.5))
5    print(f"{term}: {idf:.2f}")
Saída
the: 0.01
password: 3.21
restocking: 5.99

Principais conclusões

  • Um índice invertido liga cada palavra aos documentos que a contêm.

  • BM25 = termos raros × frequência do termo com saturação × normalização pelo tamanho.

  • As palavras-chave se destacam com identificadores exatos; elas perdem sinônimos e paráfrases.

Quiz da aula

5 perguntas · aprovação com 4 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Construa um índice invertido

+25 XP

As linhas antes de --- são documentos: id text. As linhas depois são consultas. Construa um índice das palavras em minúsculas (re.findall(r"[a-z0-9]+", ...)) para os IDs dos documentos. Para cada consulta, imprima query: ids - os IDs que contêm todas as palavras dela, em ordem - ou query: none.

  • Central de ajuda
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Pontue com BM25

+25 XP

A primeira linha é uma consulta; cada linha seguinte é id text. Usando as palavras em minúsculas de re.findall(r"[a-z0-9]+", ...) (sem o id), calcule o BM25 com k1=1.2k_1 = 1.2 e b=0.75b = 0.75. Para cada termo da consulta, em que nn é quantos documentos o contêm:

idf=ln⁡(1+N−n+0.5n+0.5)\text{idf} = \ln\left(1 + \frac{N - n + 0.5}{n + 0.5}\right)
term score=idf⋅tf⋅(k1+1)tf+k1(1−b+b⋅lengthaverage length)\text{term score} = \text{idf} \cdot \frac{\text{tf} \cdot (k_1 + 1)}{\text{tf} + k_1 \left(1 - b + b \cdot \frac{\text{length}}{\text{average length}}\right)}

Some sobre os termos distintos da consulta. Imprima id score (3 casas decimais) para pontuações acima de 0, da maior para a menor.

  • Redefinir senha
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…