Dá para Confiar em um Resumo Feito por IA? Veja o Que Ficou de Fora

Dá para Confiar em um Resumo Feito por IA? Veja o Que Ficou de Fora

“A taxa de inscrição foi 56% na página antiga e 68% na nova.” Essa frase pode estar inteiramente certa e ainda ser uma base ruim para uma decisão. Se um assistente acrescenta “funcionou melhor para todo mundo”, o problema já não é só a conta: um resumo incompleto virou uma conclusão sem apoio.

Vamos investigar com um experimento pequeno e fictício. O foco aqui é um risco sutil: totais corretos podem esconder contexto importante. Para uma checagem geral de respostas, veja Como Conferir uma Resposta da IA Antes de Usá-la.

A fonte: um teste fictício

Imagine uma equipe comparando uma página de inscrição antiga com outra nova. Cada versão foi mostrada a 100 visitantes. Estes são todos os números inventados para o exemplo:

A taxa geral foi 12 pontos percentuais maior na página nova: 68% menos 56%. Mas no celular foi 40 pontos percentuais menor: 40% menos 80%. Um total único esconde essa mudança de direção.

O gráfico foi calculado a partir da tabela; não apresenta um estudo real nem uma medição de desempenho de IA. Os grupos são pequenos, especialmente o de celular. Os números, por si só, não dizem se a página nova causou as diferenças ou se elas apareceriam em um teste maior. Eles mostram que “melhor para todo mundo” não tem apoio.

O resumo da IA e a frase que faltou

Imagine que um assistente escreva:

A taxa de inscrição foi 56% na página antiga e 68% na nova, uma diferença de 12 pontos. O novo desenho funcionou melhor para todos, então a equipe deve colocá-lo no ar.

Separe o texto em afirmações:

A omissão mais importante não é um número inventado. É a queda no celular, escondida por um total correto. Um resumo melhor poderia dizer:

Nesta amostra fictícia, a taxa geral foi 56% na página antiga e 68% na nova, enquanto no celular foi 80% contra 40%. O grupo de celular tinha 20 visitantes por versão. Investigue a experiência no celular e a forma como o teste foi conduzido antes de decidir pela publicação.

Um fluxo da fonte até a afirmação

Antes de repetir ou usar um resumo da IA, acompanhe a conclusão até a fonte:

1. Abra o original. Peça o relatório, conjunto de dados, estudo ou aviso. Um link para uma página parecida não basta.
2. Ligue cada afirmação importante à evidência. Procure a linha ou o trecho exato. Marque o que não tem fonte.
3. Examine o que o resumo comprimiu. Procure grupos, denominadores, datas, condições, incerteza e exceções. Veja se “alguns” virou “todos” ou se uma associação virou causa.
4. Defina o nível de confiança. Uma afirmação bem sustentada pode ser usada provisoriamente; uma incerta fica como pergunta; uma contradita deve ser rejeitada. Decisões de alto impacto exigem o especialista ou processo de revisão adequado.

Você pode pedir que o assistente monte uma tabela de afirmações e fontes, mas essa tabela é mais uma saída a conferir. O perfil de IA generativa do NIST observa que sistemas podem produzir erros confiantes e até justificativas ou citações enganosas. Uma pesquisa sobre fidelidade de resumos também encontrou casos em que resumos fluentes distorciam o material original. Esses trabalhos não dão uma taxa de erro para a sua ferramenta ou seu documento; ajudam a entender por que vale conferir a evidência.

Experimente no próximo resumo

Copie este pedido e depois examine o material original por conta própria:

Resuma esta fonte em cinco tópicos. Em cada um, mostre a linha ou trecho exato que dá apoio à afirmação. Inclua resultados que apontam em outra direção, tamanhos dos grupos e limitações importantes. Identifique recomendações como inferências suas, não como fatos da fonte.

A ideia não é desconfiar de todas as frases. É saber qual parte da resposta mereceu sua confiança. No exemplo, a taxa geral mereceu; “para todos” não.

Fontes e leitura adicional

• NIST: Perfil de IA Generativa e riscos de informações falsas
• Subbiah e colaboradores: avaliação de resumos de modelos de linguagem com autores
• Pesquisa da OpenAI: por que modelos de linguagem inventam informações