Como Testar um Assistente de IA Antes de Confiar Nele

Como Testar um Assistente de IA Antes de Confiar Nele

O assistente responde perfeitamente à primeira pergunta. Isso significa que já pode atender clientes, colegas ou estudantes? Uma boa resposta diz pouco sobre o que acontece quando a pergunta é vaga, a fonte não traz a informação ou a pessoa pede uma ação que ele não pode fazer.

Um pequeno conjunto de testes repetíveis revela mais. Vamos montá-lo para um centro comunitário fictício. O centro, as regras e as pontuações abaixo foram inventados para ensinar o método: não são resultados de um modelo real.

Comece pela tarefa e pela fonte correta

O assistente fictício deve responder perguntas sobre o Centro Comunitário do Porto usando este cartão:

Regras atuais

• Atendimento: segunda a sexta, das 9h às 17h.
• Fechado aos sábados e domingos.
• Reservas de sala precisam de confirmação da equipe.
• O cartão não informa o horário dos feriados.

O objetivo não é parecer simpático. É informar apenas os horários comprovados, não inventar detalhes sobre feriados e não afirmar que confirmou uma reserva. O cartão é a referência para avaliar as respostas. Num serviço real, a fonte precisa estar atualizada e aprovada para a tarefa.

Cinco casos valem mais que uma pergunta favorita

Faça as mesmas perguntas às duas versões do assistente e forneça o mesmo cartão. Defina antes o que conta como acerto:

O conjunto cabe num teste manual, mas inclui situações que uma demonstração costuma ignorar. O guia de avaliação da OpenAI recomenda testes ligados à tarefa, entradas realistas, casos difíceis e revisão humana do critério de pontuação.

Crie uma nota que você consiga explicar

Neste exercício, dê um ponto ao caso somente se todas as partes obrigatórias estiverem corretas. Caso contrário, dê zero e registre a falha. Uma resposta que acerta o domingo mas promete reservar a sala não passa no caso 5. Uma rubrica mais detalhada pode vir depois; comece com uma regra que duas pessoas consigam aplicar de forma parecida.

Veja uma comparação hipotética, não um experimento executado:

O gráfico mostra uma mudança, mas não prova que B funcionará para todo visitante. Cinco perguntas deixam lacunas: outras palavras, conversas longas, regras desatualizadas, outros idiomas e texto hostil em páginas consultadas. Uma avaliação real deve incorporar falhas observadas e uso representativo, além de ser repetida quando mudarem modelo, instruções, dados ou ferramentas.

Execute o teste de maneira justa

1. Fixe os casos e os critérios antes de comparar versões. Assim você evita mudar a régua depois de ler a resposta.
2. Mantenha as condições iguais: mesmo cartão, acesso a ferramentas e redação das perguntas. Registre modelo e configurações se os controlar.
3. Guarde as respostas completas, não só o total. “Inventou horário no domingo” ajuda mais a corrigir do que 0/1 sozinho.
4. Repita casos variáveis. O assistente pode responder de outro modo na segunda tentativa; um acerto isolado é evidência fraca.
5. Peça revisão humana dos casos ambíguos. Uma comparação automática de palavras pode rejeitar uma paráfrase correta ou aceitar uma frase errada com os termos esperados.

O guia da OpenAI alerta para métricas genéricas e para a impressão vaga de que o sistema “parece funcionar”. Se o assistente usa busca ou ferramentas, examine também a fonte escolhida e a ação tentada: uma frase final convincente pode esconder uma etapa ruim.

Copie uma ficha inicial

Adapte este modelo de texto à sua tarefa. Troque os casos fictícios por perguntas que seu público realmente faz:

caso | pergunta | fatos esperados | conduta proibida | passou? | falha
01   | ...      | ...             | ...              |         |
02   | ...      | ...             | ...              |         |

Não coloque dados privados de clientes numa ficha sem os controles apropriados. Um conjunto pequeno e bem escolhido é um instrumento inicial, não um certificado de segurança. Ele mostra o que melhorar e testar outra vez. Leia Injeção de Prompt para uma falha importante e Como Conferir uma Resposta da IA para examinar uma resposta específica.

Fontes e leitura adicional

• OpenAI: boas práticas de avaliação
• OWASP: injeção de prompt como caso adversarial