Gere texto e verifique-o
Compare o resumo e a tradução, inspecione as evidências da fonte e detecte números não comprovados.
- Distinga resumo, tradução e geração aberta
- Revise um resultado gerado para cobertura, suporte factual e redação útil
- Crie uma verificação restrita de fatos numéricos e explique seus limites
A NLP não trata apenas de rotular texto. Uma equipe de suporte resume tickets longos; um serviço multilíngue traduz artigos de ajuda; um assistente de redação redige as respostas. Estas são tarefas de texto para texto. Um modelo codificador-decodificador pode ler uma entrada e gerar uma saída, enquanto um modelo de linguagem estilo decodificador pode executar a mesma tarefa quando recebe um prompt adequado. Ambos geram tokens, um de cada vez, e nenhum garante que todas as reivindicações sejam suportadas.
O que uma boa saída preserva?
| Tarefa | Deve preservar | Exemplo de falha |
|---|---|---|
| Resumo do chamado | decisão, valor, prazo, questões não resolvidas | diz “reembolso emitido” quando apenas solicitado |
| Tradução | significado, nomes, números, negação e público-alvo | transforma “não enviar” em “enviar” |
| Rascunho de resposta | política aprovada e fatos atuais de casos | inventa uma promessa de entrega |
Uma resposta curta pode ser fluente, mas omitir um fato obrigatório. Um longo pode incluir detalhes não suportados. Avalie cobertura, apoio da fonte e se uma pessoa pode agir de acordo com o resultado. Para conteúdo de alto impacto, mostre a fonte e exija revisão humana.
Experimente
Até 15 XPRevise três resumos gerados
Fonte: “O armazém enviou 12 caixas na segunda-feira. Restam três caixas. O cliente solicitou uma atualização de status; nenhum reembolso foi aprovado.” Classifique cada candidato por seu problema principal.
“12 caixas enviadas na segunda-feira; 3 permanecem. O cliente solicitou uma atualização. Nenhum reembolso é aprovado.”
“O armazém despachou 12 caixas na segunda-feira. O cliente quer uma atualização.”
“12 caixas enviadas na segunda-feira. Um reembolso para os outros 3 foi aprovado.”
Automatize verificações restritas; revise o resto
Um verificador simples pode comparar números em uma fonte e um resumo. Para uma tarefa que requer todas as quantidades, um número ausente merece revisão e um novo número é suspeito. Esta verificação não entende se “3” significa caixas, dias ou dólares, e não consegue detectar uma afirmação falsa sem números. Use-o como um sinal de alerta, não como um índice de qualidade.
1import re
2source = 'We shipped 12 crates and kept 3.'
3summary = 'We shipped 12 crates and kept 4.'
4numbers = lambda text: set(re.findall(r'\b\d+(?:\.\d+)?\b', text))
5print('missing:', sorted(numbers(source) - numbers(summary)))
6print('new:', sorted(numbers(summary) - numbers(source)))missing: ['3'] new: ['4']
Experimente
Até 15 XPEscolha a verificação de qualidade certa
Combine cada problema com uma verificação útil. Nenhuma métrica automática estabelece que o texto gerado está correto.
“Um resumo diz que 40 pedidos foram enviados; a fonte diz 14.”
“O resumo deixa de fora o prazo do cliente.”
“Uma tradução usa uma forma rude de tratamento para um cliente.”
“Um resumo afirma que o reembolso foi aprovado, mas a fonte diz que apenas foi solicitado.”
Principais conclusões
O resumo, a tradução e a redação são tarefas diferentes de texto para texto, com diferentes critérios de sucesso.
Verifique afirmações importantes em relação às evidências da fonte, especialmente números, nomes, status e negação.
As verificações automáticas detectam alguns erros; as pessoas ainda revisam o significado, as omissões e a linguagem apropriada.
Quiz da aula
5 perguntas · aprovação com 4 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: aplique NLP com Python
Experimente cada ideia de processamento de texto em Python, execute com entradas de exemplo e use os resultados para ver onde o método funciona ou falha.
Sinalizar números ausentes e não suportados
Leia uma linha de origem e uma linha de resumo proposta. Para este exercício, todos os fatos numéricos na fonte são necessários. Encontre números inteiros ou decimais, mantendo a ordem vista pela primeira vez e ignorando as repetições. Imprima missing: ... para números de fonte ausentes do resumo e unsupported: ... para números de resumo ausentes da fonte, separados por vírgula ou none. Esta é uma auditoria restrita e não um teste completo de factualidade.
- Quantidade alterada
- Todos os números preservados
- Valor decimal e repetido
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…