AgentXploit automatiza red-teaming de agentes de IA do repositório até a exploração em runtime

Agentes de IA que combinam LLMs com ferramentas externas -- capazes de modificar arquivos, chamar APIs, executar código -- introduzem uma superfície de ataque dupla: conteúdo adversarial recebido pelo agente pode alterar seu comportamento de uso de ferramentas (prompt injection clássica), e o software ao redor do agente pode conter vulnerabilidades tradicionais, como path traversal ou command injection, que o próprio agente acaba expondo ou acionando. O artigo se posiciona no contexto de auditoria white-box autorizada pré-deployment: o auditor tem acesso ao repositório alvo e a um runtime controlado, mas ainda assim precisa que o ataque atue através da interface de atacante definida pela tarefa e seja confirmado por um verificador externo -- ou seja, não vale qualquer manipulação, só ataques que respeitam o modelo de ameaça realista.

A arquitetura central separa duas responsabilidades que normalmente ficam misturadas em ferramentas de red-teaming de agente: o Analyzer Agent faz taint tracking a partir de código-fonte, rastreando como inputs potencialmente controlados por um atacante fluem até operações sensíveis (chamadas de sistema, escrita de arquivo, requisições de rede), e registra candidatos de caminho de ataque com base em evidência do próprio código -- sem tentar executar nada ainda. O Exploiter Agent pega esses caminhos candidatos e os converte em ataques concretos e executáveis, refinando a estratégia iterativamente com base em feedback real do runtime (o que funcionou, o que foi bloqueado, o que precisa de ajuste). Essa separação entre descoberta estática de caminho e exploração dinâmica reflete uma divisão de trabalho que também existe em pentesting humano tradicional, mas aqui totalmente automatizada por agentes de LLM.

Para sustentar avaliação reproduzível, os autores construíram o AgentXploit-Bench, com 72 vulnerabilidades reproduzíveis distribuídas em 12 frameworks e sistemas de agentes open-source -- um recurso que por si só preenche uma lacuna de benchmarks padronizados para segurança de agentes ponta a ponta. Os resultados numéricos mostram uma vantagem consistente sobre alternativas gerais e especializadas: 59,3% de taxa de sucesso fim a fim ao longo de três execuções, contra 38,4% do Codex usado como agente genérico de auditoria (e 46,3% do Codex quando o orçamento de tokens é equalizado); no benchmark AgentDojo, onde os pontos de injeção já são fornecidos, o Exploiter Agent isoladamente atinge 79,2% de sucesso contra 52,7% do AgentVigil, uma ferramenta especializada em ataques de injeção contra agentes.

O valor prático do trabalho está em mostrar, com números, que descoberta de caminho de ataque no nível do repositório e exploração real em runtime são dois problemas distintos que exigem agentes especializados e comunicação estruturada entre eles -- uma lição relevante tanto para quem constrói ferramentas de red-team automatizado de agentes de IA quanto para quem avalia a maturidade de segurança de um agente antes de colocá-lo em produção com acesso real a ferramentas. O benchmark AgentXploit-Bench, por cobrir 12 frameworks distintos, também serve como ponto de partida útil para comparar objetivamente diferentes defesas de agente (como MetaPermit ou AGATE) contra uma bateria comum de vulnerabilidades reproduzíveis.