Carregando
0xE0Lição 15 de 16

Alucinações, segurança e salvaguardas

Identifique afirmações inventadas, fundamente as respostas em fontes e mantenha pessoas no controle de ações arriscadas.

22 min Questionário com 5 perguntas 2 exercícios de código
Ao final desta lição, você saberá
  • Reconhecer padrões comuns de alucinação
  • Use ancoragem, abstenção e autoconsistência para reduzi-los
  • Aplicar proteções: privilégio mínimo, confirmação e proteção de dados

Uma alucinação é um resultado fluente e confiante que não é apoiado por fatos ou fontes: citações inventadas, números errados, APIs inexistentes, citações inventadas. Decorre da forma como os modelos funcionam - eles geram texto provável, e uma falsificação plausível pode ser mais provável do que “Não sei”.

Maneiras de reduzi-lo:

  • Fundamentar respostas em fontes recuperadas ou resultados de ferramentas e exigir citações que você possa verificar.
  • Permitir abstenção: convide explicitamente “Não sei” e recompense nas avaliações.
  • Autoconsistência: amostra de diversas respostas; baixa concordância sinaliza incerteza.
  • Verifique declarações importantes no código ou com pessoas antes de agir de acordo com elas.

Experimente

Até 15 XP

Identifique as alucinações

Um modelo respondeu à pergunta de um desenvolvedor. Clique em todas as reivindicações que pareçam fabricadas ou não verificáveis.

Uma resposta sobre Python (rodada 1 de 1)Sinais encontrados 0/0

Clique em todos os trechos suspeitos. São 3.

Para ler um CSV em Python, use o módulo csv da biblioteca padrão: `csv.reader(file)` percorre as linhas. Para arquivos grandes, chame `csv.fast_reader(file, threads=8)`, adicionado no Python 3.9. pandas oferece `pd.read_csv("data.csv")`. Segundo um estudo de 2021 da Dra. Ellen Marsh, do MIT, pandas é 47,3 vezes mais rápido que o módulo csv para todos os arquivos. Consulte o guia oficial em https://docs.python.org/3/library/fastcsv.html. Confira sempre a codificação do arquivo.

Guarda-corpos para sistemas reais

  • Privilégio mínimo: forneça ao assistente apenas as ferramentas e os dados necessários.
  • Confirmação para ações consequentes - envio, pagamento, exclusão, publicação.
  • Entrada não confiável: documentos, páginas da web e resultados de ferramentas podem conter injeção de prompt; são dados, não instruções.
  • Proteção de dados: não envie segredos ou dados pessoais desnecessários em prompts; verifique os termos de retenção de dados do provedor.
  • Monitoramento e feedback: registrar (sem segredos), revisar falhas e atualizar avaliações.

O OWASP Top 10 for LLM Applications lista os principais riscos; os cursos de Cibersegurança e RAG cobrem-nos em profundidade.

Principais conclusões

  • As alucinações são afirmações fluentes e sem fundamento – APIs, citações e números inventados são sinais clássicos.

  • Fundamentar, permitir a abstenção, verificar a consistência, verificar o que importa.

  • Privilégio mínimo, confirmação humana e tratamento de entradas como não confiáveis ​​mantêm as falhas contidas.

Quiz da aula

5 perguntas · aprovação com 4 acertos · até 50 XP

Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.

Pratique: escreva código em Python

Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.

Exercício 1

Votação de autoconsistência

+25 XP

Cada linha de entrada é uma amostra de resposta para a mesma pergunta. Normalize as respostas (tirar espaços, letras minúsculas). Se a participação da resposta mais comum for de pelo menos 0,6, imprima answer: X (agreement A); caso contrário, imprima abstain: low agreement (A), com A até 2 casas decimais. Os empates vão para a primeira resposta em ordem alfabética.

  • Acordo
  • Desacordo
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Exercício 2

Proteja as ações de um assistente

+25 XP

Cada linha é uma ação que o modelo deseja realizar. Imprima allow ACTION para ações somente leitura (search, read_file, get_weather), confirm ACTION para ações consequenciais (send_email, delete_file, make_payment) e block ACTION para qualquer outra coisa.

  • Ações mistas
main.py
Carregando editor…

O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.

Dúvidas sobre esta lição

Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.

Carregando publicações…