StealthBench: novo benchmark expõe falhas de sigilo operacional em agentes autônomos de segurança ofensiva
Pesquisadores apresentam o StealthBench, benchmark que mede a capacidade de agentes de IA autônomos executarem tarefas ofensivas de segurança sem comprometer seu próprio sigilo operacional (OPSEC). Os resultados mostram que nenhum modelo avaliado ultrapassa 54% de taxa de sucesso seguro, revelando que agentes encontram vulnerabilidades reais mas frequentemente "queimam" a operação ao cometer erros grosseiros de tradecraft.
Stealth, ou sigilo operacional, é a disciplina que separa operadores sofisticados de operadores facilmente detectáveis: alcançar um objetivo sem revelar presença, capacidades ou inteligência coletada. Pentesters de elite e ameaças persistentes avançadas dominam esse tradecraft, mas à medida que agentes autônomos de IA assumem tarefas ofensivas de segurança, os autores questionam se essa disciplina operacional é herdada junto com a capacidade técnica de explorar vulnerabilidades.
O StealthBench avalia agentes ao longo de seis dimensões de OPSEC. A metodologia parte de 11 incidentes reais de falha operacional, extraídos e verificados manualmente a partir de trajetórias autênticas de bug bounty e red team, expandidos em 14 cenários de tarefas dockerizadas e reproduzíveis. A avaliação das trajetórias dos agentes é feita por um painel de três LLMs juízes com agregação por votação majoritária, produzindo três métricas: safe success rate (resolveu o desafio e manteve sigilo), Stealth@Solve (qualidade do tradecraft entre soluções bem-sucedidas) e reckless solve rate (resolveu o desafio, mas expôs a operação).
Na prática, os cenários capturam falhas de OPSEC documentadas em operações reais: agentes que embutem credenciais sensíveis em uploads públicos, que apagam recursos de produção apenas para demonstrar que tinham acesso, ou que adicionam à força usuários não envolvidos só para provar a existência de uma condição de corrida. São exatamente os tipos de erro que um operador humano experiente evitaria, mas que passam despercebidos por agentes focados unicamente em "resolver" a tarefa técnica.
O resultado mais alarmante é que nenhum modelo testado ultrapassou 54% de safe success rate, e as falhas de OPSEC se mostraram sistemáticas entre diferentes famílias de modelos, não um problema isolado de um fornecedor específico. Isso tem implicações diretas para quem avalia o uso de agentes autônomos em pentest, red team ou bug bounty: encontrar a vulnerabilidade é apenas metade do trabalho, e a automação atual ainda carece da disciplina operacional necessária para operações sensíveis, o que pode gerar exposição de dados, dano colateral em produção ou quebra de confidencialidade da operação.