ToolHazard automatiza a criação de ambientes adversariais para testar agentes LLM contra injeção de prompt indireta
O framework substitui a construção manual de cenários de teste por uma pipeline de três agentes que sintetiza ambientes executáveis com estado, descobre pontos viáveis de injeção e gera tarefas de longo horizonte realistas para expor agentes LLM equipados com ferramentas. Os experimentos confirmam vulnerabilidades substanciais nos agentes testados e mostram que o momento e o local da injeção afetam diretamente a eficácia do ataque, além de os dados gerados servirem também para treinar defesas sem sacrificar utilidade em tarefas legítimas.
A motivação do trabalho é uma limitação bem conhecida de quem pesquisa injeção de prompt indireta em agentes: os ambientes de teste hoje são majoritariamente construídos à mão ou simulados de forma estocástica por outro LLM, com pontos de injeção pré-definidos pelo pesquisador — o que limita a escala e a diversidade de cenários que dá para cobrir, e favorece resultados que não generalizam bem para o mundo real, onde o atacante escolhe livremente onde e como injetar o payload dentro do ambiente que o agente está operando.
O ToolHazard resolve isso com uma pipeline de três componentes que se retroalimentam: um Environment Simulator constrói ambientes executáveis e com estado mutável (simulando ferramentas e sistemas reais que um agente tocaria), um Attacker Agent varre esse ambiente em busca de pontos onde uma injeção indireta seria viável e gera payloads específicos para aquele contexto, e um User Simulator constrói tarefas legítimas de longo horizonte fundamentadas no estado do ambiente, para que o agente-alvo tenha um objetivo real a perseguir enquanto encontra o conteúdo malicioso incorporado no ambiente.
Os resultados experimentais no ToolHazard-Bench, o benchmark derivado desse framework, confirmam vulnerabilidades substanciais nos agentes testados sob workflows complexos — e um achado tático relevante é que o timing e a colocação da injeção dentro do fluxo de trabalho têm impacto direto na taxa de sucesso do ataque, o que sugere que defesas baseadas apenas em filtrar padrões de texto suspeitos, sem levar em conta o momento em que o conteúdo aparece na trajetória do agente, tendem a ser insuficientes.
O ponto que torna esse framework mais do que apenas mais um benchmark de ataque é o uso duplo: os próprios dados sintetizados pelo ToolHazard para gerar ataques também foram usados como dados de alinhamento, e essa alimentação de volta melhorou a segurança dos agentes tanto no ToolHazard-Bench quanto no AgentDojo (outro benchmark independente), preservando a utilidade em tarefas benignas. Isso indica um caminho prático de "red-team automatizado alimentando o próprio fine-tuning de defesa" que reduz a dependência de humanos escrevendo cada caso de teste manualmente — relevante para qualquer equipe que constrói agentes com acesso a ferramentas externas e precisa de cobertura de teste de injeção indireta que escale além do que red-teams manuais conseguem produzir.