Framework de "assurance" expõe lacuna real de controle de escopo em harness de pentest autônomo baseado em LLM
O artigo argumenta que avaliar agentes de pentest baseados em LLM apenas pela capacidade de encontrar uma falha ou reproduzir um exploit ignora se o achado é verdadeiro, se o agente respeitou o escopo autorizado e se a operação deixou trilha auditável — propriedades batizadas de "assurance", que os autores defendem devem ser garantidas pelo harness (o runtime em volta do modelo), não pelo modelo em si. Ao testar essas propriedades contra uma implementação real de código aberto (NeuroSploit), encontraram uma lacuna concreta de enforcement de autorização e de auditoria à prova de adulteração.
A motivação do trabalho é uma crítica direta ao estado da arte em avaliação de agentes de pentest: benchmarks de capacidade (capturar a flag, reproduzir um CVE) dizem se o agente é bom em achar coisas, mas nada dizem sobre se ele pode ser posto em um engajamento autorizado de verdade, onde importa igualmente saber se um achado reportado é real, se o agente ficou dentro do escopo contratado e se um operador humano consegue auditar depois o que foi feito.
Para isso os autores definem cinco propriedades formais — evidence grounding (o achado é fundamentado em evidência real), non-destructive claim reduction, computed severity, enforced authorization (o agente é impedido, em código, de agir fora do escopo) e tamper-evident accountability (log de auditoria que não pode ser adulterado sem detecção) — cada uma com modelo formal e teste de aceitação explícito. Eles posicionam sistemas conhecidos da literatura (PentestGPT, o harness de referência Cochise, MAPTA e o juiz de trajetória PentestJudge) dentro desse framework e depois aplicam os testes de aceitação diretamente contra uma implementação real, o NeuroSploit, fixada em um commit específico e rodando contra um alvo público deliberadamente vulnerável.
O resultado prático é que os testes determinísticos de autorização e de auditoria revelam uma lacuna real de enforcement no NeuroSploit — a camada que deveria impedir o agente de agir fora do escopo autorizado e garantir trilha auditável não cumpre essa função de forma confiável, mesmo que a capacidade bruta de achar a vulnerabilidade (o que os benchmarks tradicionais medem) funcione. Os autores classificam ambas as propriedades como "parciais", não como aprovadas.
Isso importa porque agentes autônomos de pentest estão cada vez mais próximos de uso em engajamentos comerciais reais, e a diferença entre "o agente é bom em achar bugs" e "o agente pode ser autorizado com segurança em um cliente" é exatamente o que este framework tenta capturar. Os próprios autores são claros ao dizer que a contribuição é um "argumento inicial de existência" — mostrar que as cinco propriedades são simultaneamente alcançáveis — e não uma comparação de desempenho entre ferramentas, deixando para trabalho futuro o protocolo multi-alvo e adversarial necessário para medir isso em escala.