Pesquisadores propõem defesas universais para agentes LLM que usam ferramentas contra injeção e backdoors
Um framework unificado combina duas defesas de ferramentas -- filtragem de anomalias e restauração do toolset original antes do planejamento -- com técnicas de prompt como chain-of-thought e auto-reflexão para proteger agentes LLM integrados a ferramentas externas. Testado em sete modelos, incluindo GPT-5, o método zerou a taxa de sucesso de ataques em vários cenários sem degradar o desempenho da tarefa original.
O estudo ataca um problema central da nova geração de agentes de IA: quando um LLM ganha acesso a ferramentas externas (busca na web, execução de código, plugins de terceiros), cada ferramenta se torna uma superfície de entrada para manipulação. Os autores organizam essa superfície em quatro classes de ataque -- injeção de prompt direta, injeção indireta (via conteúdo de terceiros que o agente processa), envenenamento de memória e backdoors plantados no próprio agente -- e propõem um conjunto de defesas testável contra todas elas ao mesmo tempo, em vez de soluções pontuais por tipo de ataque.
Tecnicamente, a defesa mais interessante é o "Attacker Tool Filtering": antes de o agente decidir qual ferramenta usar, um detector de anomalias (Isolation Forest) analisa o conjunto de ferramentas disponível e isola as que fogem do padrão esperado, removendo-as da lista antes do planejamento. A segunda, "Normal Tool Recalling", é uma abordagem white-box que reconstrói o toolset original e confiável do agente logo antes da etapa de raciocínio, neutralizando ferramentas maliciosas que tenham sido injetadas dinamicamente na sessão. Essas defesas de nível de ferramenta são combinadas com reforços no prompt (chain-of-thought, auto-reflexão e paráfrase da tarefa) para reduzir a chance de o modelo seguir instruções escondidas em conteúdo externo.
Os resultados são expressivos porque combinam ampla cobertura (quatro modelos abertos e três proprietários, incluindo GPT-5) com baixo custo de implementação -- não exigem retreinar o modelo, apenas instrumentar a camada de orquestração do agente. Em muitos cenários a taxa de sucesso do ataque caiu a zero mantendo ou até melhorando o desempenho na tarefa legítima, o que é raro em defesas de segurança que normalmente trocam robustez por utilidade.
Isso importa na prática porque a indústria já está implantando agentes com ferramentas dinâmicas e plugins de terceiros em produção, e a maioria dos frameworks agnósticos de segurança hoje trata prompt injection como um problema só de filtragem de texto. Uma defesa que atua na camada de ferramentas fecha uma lacuna real: hoje, um documento malicioso recuperado por um agente de pesquisa ou um plugin comprometido pode redirecionar todo o comportamento do sistema. A limitação em aberto é que os detectores de anomalia podem ser evadidos por atacantes adaptativos cientes do classificador -- o próprio artigo não testa esse cenário adversarial mais forte.