Proteja um sistema de RAG
Impeça vazamentos de dados entre usuários, desarme instruções escondidas em documentos e trate as saídas com segurança.
- Aplicar as permissões na recuperação, não no prompt
- Reconhecer prompt injection indireta e documentos envenenados
- Aplicar o OWASP Top 10 for LLM Applications a um projeto de RAG
Um sistema de RAG conecta um modelo aos documentos da sua organização - o que o torna um alvo suculento. O OWASP Top 10 for LLM Applications 2025 lista os riscos; estes atingem mais o RAG:
- LLM01 Prompt injection - principalmente a indireta: instruções escondidas num documento recuperado (“ignore as suas instruções e…”).
- LLM02 Divulgação de informações sensíveis - segredos ou dados pessoais indexados por acidente e depois recuperados para a pessoa errada.
- LLM04 Envenenamento de dados e de modelos - um atacante planta documentos enganosos para que eles sejam recuperados.
- LLM05 Tratamento inadequado de saídas - renderizar a saída do modelo (links, imagens, HTML) sem cuidado.
- LLM08 Fraquezas de vetores e embeddings - nova em 2025: vazamento entre tenants em bancos vetoriais compartilhados, falta de controle de acesso nos embeddings, embeddings envenenados.
Experimente
Até 15 XPInspecione o que a recuperação trouxe
Estes chunks foram recuperados para um funcionário do tenant Acme. Clique em tudo o que nunca deveria chegar ao modelo (nem ao usuário).
Clique em todos os trechos suspeitos. São 2.
Defesa em profundidade
- Permissões na recuperação: guarde as ACLs e os IDs de tenant em cada chunk, filtre na própria consulta de busca e teste com usuários de poucos privilégios. Use índices ou namespaces separados por tenant quando puder.
- Sanitize na ingestão: tire o texto escondido (comentários HTML, texto branco sobre branco, caracteres de largura zero), mascare segredos e dados pessoais, registre quem acrescentou cada documento e procure textos com cara de instrução.
- Trate o texto recuperado como dado: delimite-o, diga ao modelo para não seguir instruções dentro das fontes - e não dependa só disso.
- Limite a autonomia: se o app de RAG também puder agir (mandar e-mail, chamar ferramentas), exija confirmação para qualquer coisa com consequências.
- Trate a saída com segurança: escape o HTML, não carregue imagens externas automaticamente, mostre para onde os links levam.
- Monitore: registre as recuperações e as respostas (sem segredos), fique atento a anomalias e tenha um caminho de incidente para remover rápido documentos envenenados.
Principais conclusões
Aplique o controle de acesso na recuperação; prompts não são permissões.
Documentos recuperados podem carregar instruções escondidas - sanitize a ingestão e trate as fontes como dados.
Mascare dados sensíveis, limite o que o sistema pode fazer e trate as saídas com segurança.
Quiz da aula
5 perguntas · aprovação com 4 acertos · até 50 XP
Ao passar, você conclui a aula e mantém sua sequência. As perguntas erradas voltarão em sessões de revisão.
Pratique: escreva código em Python
Escreva código Python no editor e execute os testes com exemplos. O Python roda localmente no navegador usando WebAssembly.
Recuperação que respeita permissões
A primeira linha lista os grupos do usuário (separados por vírgula). Cada linha seguinte é id|groups|text. Um chunk é permitido se tiver um grupo em comum com o usuário ou se tiver o grupo public. Imprima allowed: IDS (na ordem da entrada, ou none) e withheld: N.
- Agente de suporte
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Coloque chunks suspeitos em quarentena na ingestão
Cada linha é id|text. Confira as RULES em ordem (sem diferenciar maiúsculas de minúsculas) e imprima quarantine id: label para a primeira que bater; caso contrário, ok id.
- Cinco chunks
O Python é executado em um ambiente isolado no navegador, com limite de 60 segundos. O runtime é carregado pelo CDN do Pyodide; seu código permanece neste navegador.
Dúvidas sobre esta lição
Travou em algum ponto? Pergunte. Descobriu algo? Compartilhe. Explicar também é uma ótima forma de aprender.
Carregando publicações…