Carregando
0x110Lição 18 de 18

Projeto final: construa um mini mecanismo de busca

Combine tokenização, palavras irrelevantes, um índice invertido e TF-IDF em um mecanismo de pesquisa funcional.

35 min Questionário com 5 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Crie um índice invertido que encontre documentos por palavra em um instante
  • Classifique documentos correspondentes por TF-IDF
  • Explique como os mecanismos de pesquisa reais vão além

Hora de juntar as peças. Um mecanismo de pesquisa responde “quais dos meus documentos correspondem melhor a essas palavras?” Você já tem todas as ferramentas necessárias: tokenização e normalização de texto, eliminação de palavras de parada e TF-IDF para pesar termos. A única ideia nova é como encontrar documentos correspondentes rapidamente.

O índice invertido

Ler todos os documentos para todas as pesquisas é muito lento. Em vez disso, crie um índice invertido uma vez: um dicionário de cada palavra para os documentos que a contêm - como o índice no final de um livro. Uma consulta então toca apenas nos documentos listados sob suas palavras.

inverted_index.py
1import re
2from collections import defaultdict
3
4documents = ["Cats chase mice", "Dogs chase cats", "Mice eat cheese"]
5index = defaultdict(set)
6for number, document in enumerate(documents, start=1):
7    for word in re.findall(r"[a-z]+", document.lower()):
8        index[word].add(number)
9print(sorted(index["chase"]), sorted(index["mice"]))
Saída
[1, 2] [1, 3]

Experimente

Até 15 XP

Classifique manualmente

Imagine pesquisar por comida de gato. Clique em cat e depois em food para ver o TF-IDF de cada termo em cada página e adicione os dois números por página. Qual página o TF-IDF classifica em primeiro lugar? Essa é a página que você gostaria que estivesse no topo?

Escolha um termo

Page 1

Choosing cat food: wet food or dry food for your cat.

tf
0,091
idf = ln(3/1)
1,099
tf × idf
0,100

Termo principal aqui: food

Page 2

Cat cat cat! The cat sat. A cat nap for the cat.

tf
0,000
idf = ln(3/1)
1,099
tf × idf
0,000

Termo principal aqui: cat

Page 3

Dog food reviews: the best food for a happy dog.

tf
0,000
idf = ln(3/1)
1,099
tf × idf
0,000

Termo principal aqui: dog

“choosing” aparece em 1 de 3 documentos.

Surpresa: o TF-IDF simples coloca a Página 2 em primeiro lugar (0.203 vs 0.184), embora nunca mencione comida - apenas repete “gato” seis vezes. Mecanismos de busca reais protegem contra isso: BM25, o refinamento padrão do TF-IDF, dá crédito decrescente para cada repetição de uma palavra, e uma boa classificação recompensa páginas que cobrem todas as palavras de consulta. Seu próprio exercício de classificação abaixo também colocará a página 2 em primeiro lugar - esse é o resultado correto do TF-IDF e um lembrete para verificar a integridade de uma função de classificação em consultas reais.

Principais conclusões

  • Um índice invertido mapeia cada palavra para os documentos que a contêm, construído uma vez e reutilizado para cada consulta.

  • Pontue os documentos correspondentes somando o TF-IDF dos termos da consulta e, em seguida, classifique.

  • Processe consultas exatamente como documentos - o mesmo tokenizer, maiúsculas e minúsculas e palavras irrelevantes - ou elas não corresponderão.

Quiz da aula

5 perguntas · aprovação com 4 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: aplique NLP com Python

Experimente cada ideia de processamento de texto em Python, execute com entradas de exemplo e use os resultados para ver onde o método funciona ou falha.

Exercício 1

Construa um índice invertido

+25 XP

A primeira linha é N, seguida por N documentos, um por linha (os números dos documentos começam em 1). Use palavras alfabéticas em minúsculas. Imprima cada palavra em ordem alfabética como word: numbers, com os números dos documentos em ordem crescente e separados por espaços.

  • Três documentos
  • Palavra repetida
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Classificar documentos para uma consulta

+25 XP

A primeira linha é N, seguida por N documentos e, em seguida, uma linha de consulta. Use palavras alfabéticas minúsculas em todos os lugares.

Pontue cada documento como a soma, sobre as palavras de consulta distintas, de tf×idf\text{tf} \times \text{idf}, com tf=count in documentwords in document\text{tf} = \frac{\text{count in document}}{\text{words in document}} e idf=ln⁡Ndocumentos contendo a palavra\text{idf} = \ln\frac{N}{\text{documentos contendo a palavra}} (uma palavra em nenhum documento adiciona 0). Imprima os documentos com pontuação acima de 0, melhor primeiro (empates: número menor primeiro), como doc NUMBER: SCORE com pontuação arredondada para 3 casas decimais. Se nada corresponder, imprima no results.

  • comida de gato
  • Nenhuma correspondência
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…