Projeto final: construa um mini mecanismo de busca
Combine tokenização, palavras irrelevantes, um índice invertido e TF-IDF em um mecanismo de pesquisa funcional.
- Crie um índice invertido que encontre documentos por palavra em um instante
- Classifique documentos correspondentes por TF-IDF
- Explique como os mecanismos de pesquisa reais vão além
Hora de juntar as peças. Um mecanismo de pesquisa responde “quais dos meus documentos correspondem melhor a essas palavras?” Você já tem todas as ferramentas necessárias: tokenização e normalização de texto, eliminação de palavras de parada e TF-IDF para pesar termos. A única ideia nova é como encontrar documentos correspondentes rapidamente.
O índice invertido
Ler todos os documentos para todas as pesquisas é muito lento. Em vez disso, crie um índice invertido uma vez: um dicionário de cada palavra para os documentos que a contêm - como o índice no final de um livro. Uma consulta então toca apenas nos documentos listados sob suas palavras.
1import re
2from collections import defaultdict
3
4documents = ["Cats chase mice", "Dogs chase cats", "Mice eat cheese"]
5index = defaultdict(set)
6for number, document in enumerate(documents, start=1):
7 for word in re.findall(r"[a-z]+", document.lower()):
8 index[word].add(number)
9print(sorted(index["chase"]), sorted(index["mice"]))[1, 2] [1, 3]
Experimente
Até 15 XPClassifique manualmente
Imagine pesquisar por comida de gato. Clique em cat e depois em food para ver o TF-IDF de cada termo em cada página e adicione os dois números por página. Qual página o TF-IDF classifica em primeiro lugar? Essa é a página que você gostaria que estivesse no topo?
Escolha um termo
Page 1
Choosing cat food: wet food or dry food for your cat.
- tf
- 0,091
- idf = ln(3/1)
- 1,099
- tf × idf
- 0,100
Termo principal aqui: food
Page 2
Cat cat cat! The cat sat. A cat nap for the cat.
- tf
- 0,000
- idf = ln(3/1)
- 1,099
- tf × idf
- 0,000
Termo principal aqui: cat
Page 3
Dog food reviews: the best food for a happy dog.
- tf
- 0,000
- idf = ln(3/1)
- 1,099
- tf × idf
- 0,000
Termo principal aqui: dog
“choosing” aparece em 1 de 3 documentos.
Surpresa: o TF-IDF simples coloca a Página 2 em primeiro lugar (0.203 vs 0.184), embora nunca mencione comida - apenas repete “gato” seis vezes. Mecanismos de busca reais protegem contra isso: BM25, o refinamento padrão do TF-IDF, dá crédito decrescente para cada repetição de uma palavra, e uma boa classificação recompensa páginas que cobrem todas as palavras de consulta. Seu próprio exercício de classificação abaixo também colocará a página 2 em primeiro lugar - esse é o resultado correto do TF-IDF e um lembrete para verificar a integridade de uma função de classificação em consultas reais.
Principais conclusões
Um índice invertido mapeia cada palavra para os documentos que a contêm, construído uma vez e reutilizado para cada consulta.
Pontue os documentos correspondentes somando o TF-IDF dos termos da consulta e, em seguida, classifique.
Processe consultas exatamente como documentos - o mesmo tokenizer, maiúsculas e minúsculas e palavras irrelevantes - ou elas não corresponderão.
Quiz da aula
5 perguntas · aprovação com 4 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: aplique NLP com Python
Experimente cada ideia de processamento de texto em Python, execute com entradas de exemplo e use os resultados para ver onde o método funciona ou falha.
Construa um índice invertido
A primeira linha é N, seguida por N documentos, um por linha (os números dos documentos começam em 1). Use palavras alfabéticas em minúsculas. Imprima cada palavra em ordem alfabética como word: numbers, com os números dos documentos em ordem crescente e separados por espaços.
- Três documentos
- Palavra repetida
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Classificar documentos para uma consulta
A primeira linha é N, seguida por N documentos e, em seguida, uma linha de consulta. Use palavras alfabéticas minúsculas em todos os lugares.
Pontue cada documento como a soma, sobre as palavras de consulta distintas, de , com e (uma palavra em nenhum documento adiciona 0). Imprima os documentos com pontuação acima de 0, melhor primeiro (empates: número menor primeiro), como doc NUMBER: SCORE com pontuação arredondada para 3 casas decimais. Se nada corresponder, imprima no results.
- comida de gato
- Nenhuma correspondência
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…