Defenda-se de ataques viabilizados por IA e de agentes inseguros

Os atacantes podem usar IA para escrever mensagens convincentes, traduzir iscas, resumir material roubado, adaptar scripts e ajudar a coordenar tarefas. Isso muitas vezes escala ataques conhecidos, em vez de criar um novo tipo de vulnerabilidade. Num estudo de caso de 2025, a OpenAI relatou ter banido contas que usavam IA para textos de phishing em vários idiomas e apoio com scripts; a investigação dela não encontrou uma capacidade ofensiva nova nesse caso.

A síntese de voz e de imagem também pode se passar por uma pessoa de confiança. A CISA recomenda confirmar pedidos inesperados por um canal conhecido. Uma voz familiar, um texto bem escrito ou um vídeo já não bastam para autorizar um pagamento, uma redefinição ou uma transferência de dados.

Um agente de IA pode ler páginas web, chamados, e-mails ou arquivos de repositórios e chamar ferramentas. Essas fontes são dados de outra pessoa, mesmo quando contêm frases que parecem comandos. O prompt injection indireto coloca instruções dentro desse conteúdo de menor confiança para desviar o agente. A OWASP explica o mecanismo.

O estrago depende do que o agente tem permissão de fazer. Um assistente que só lê um chamado pode fazer um resumo ruim; um que consegue ler segredos e mandar mensagens pode vazá-los. A OWASP chama ferramentas amplas, permissões amplas ou autonomia sem controle de autonomia excessiva (excessive agency). Outros riscos incluem a divulgação de dados sensíveis, material de origem envenenado, o uso inseguro de código gerado e dependências vulneráveis de modelos ou de ferramentas. Eles se sobrepõem a problemas conhecidos de controle de acesso e de cadeia de suprimentos.

Um projeto mais seguro separa a instrução do usuário do conteúdo recuperado, dá ao agente ferramentas só de leitura e limitadas à tarefa por padrão, aplica a autorização normal a toda chamada de ferramenta, valida as saídas antes que cheguem a outros sistemas e exige revisão para mandar, apagar ou alterar dados. Registre as chamadas de ferramentas e teste com documentos adversariais. Um aviso no prompt, sozinho, não é uma fronteira de permissão. As orientações da OWASP sobre autonomia excessiva ilustram a mesma distinção entre ler e enviar.

Esta área muda rápido. Mantenha atualizadas as avaliações dos modelos e dos agentes, teste de novo depois de acrescentar ferramentas ou de mudar permissões, e examine tanto os ataques bem-sucedidos quanto os alarmes falsos. O Cyber AI Profile do NIST ainda é um rascunho preliminar; use-o como apoio ao planejamento, não como a promessa de que uma arquitetura é segura.