Alucinações, segurança e salvaguardas
Identifique afirmações inventadas, fundamente as respostas em fontes e mantenha pessoas no controle de ações arriscadas.
- Reconhecer padrões comuns de alucinação
- Use ancoragem, abstenção e autoconsistência para reduzi-los
- Aplicar proteções: privilégio mínimo, confirmação e proteção de dados
Uma alucinação é um resultado fluente e confiante que não é apoiado por fatos ou fontes: citações inventadas, números errados, APIs inexistentes, citações inventadas. Decorre da forma como os modelos funcionam - eles geram texto provável, e uma falsificação plausível pode ser mais provável do que “Não sei”.
Maneiras de reduzi-lo:
- Fundamentar respostas em fontes recuperadas ou resultados de ferramentas e exigir citações que você possa verificar.
- Permitir abstenção: convide explicitamente “Não sei” e recompense nas avaliações.
- Autoconsistência: amostra de diversas respostas; baixa concordância sinaliza incerteza.
- Verifique declarações importantes no código ou com pessoas antes de agir de acordo com elas.
Experimente
Até 15 XPIdentifique as alucinações
Um modelo respondeu à pergunta de um desenvolvedor. Clique em todas as reivindicações que pareçam fabricadas ou não verificáveis.
Clique em todos os trechos suspeitos. São 3.
Guarda-corpos para sistemas reais
- Privilégio mínimo: forneça ao assistente apenas as ferramentas e os dados necessários.
- Confirmação para ações consequentes - envio, pagamento, exclusão, publicação.
- Entrada não confiável: documentos, páginas da web e resultados de ferramentas podem conter injeção de prompt; são dados, não instruções.
- Proteção de dados: não envie segredos ou dados pessoais desnecessários em prompts; verifique os termos de retenção de dados do provedor.
- Monitoramento e feedback: registrar (sem segredos), revisar falhas e atualizar avaliações.
O OWASP Top 10 for LLM Applications lista os principais riscos; os cursos de Cibersegurança e RAG cobrem-nos em profundidade.
Principais conclusões
As alucinações são afirmações fluentes e sem fundamento – APIs, citações e números inventados são sinais clássicos.
Fundamentar, permitir a abstenção, verificar a consistência, verificar o que importa.
Privilégio mínimo, confirmação humana e tratamento de entradas como não confiáveis mantêm as falhas contidas.
Quiz da aula
5 perguntas · aprovação com 4 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Votação de autoconsistência
Cada linha de entrada é uma amostra de resposta para a mesma pergunta. Normalize as respostas (tirar espaços, letras minúsculas). Se a participação da resposta mais comum for de pelo menos 0,6, imprima answer: X (agreement A); caso contrário, imprima abstain: low agreement (A), com A até 2 casas decimais. Os empates vão para a primeira resposta em ordem alfabética.
- Acordo
- Desacordo
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Proteja as ações de um assistente
Cada linha é uma ação que o modelo deseja realizar. Imprima allow ACTION para ações somente leitura (search, read_file, get_weather), confirm ACTION para ações consequenciais (send_email, delete_file, make_payment) e block ACTION para qualquer outra coisa.
- Ações mistas
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…