ScopeJudge cria um 'juiz' de IA para impedir que agentes de pentest saiam do escopo contratado
ScopeJudge propõe um segundo modelo de IA mais barato que atua como 'juiz', avaliando cada chamada de ferramenta de um agente de pentest autônomo antes de ela ser executada, para impedir que ele saia do escopo contratado. Um benchmark de quase 5 mil chamadas rotuladas por pentesters profissionais mostra que políticas estáticas, sem ver o pedido original do usuário, falham quase completamente em detectar violações de escopo. Os autores recomendam configurações diferentes de custo e segurança conforme o risco da implantação.
Pesquisadores (Shane Caldwell, Max Harley, Ads Dawson, Michael Kouremetis, Vincent Abruzzo e Will Pearce) publicaram o ScopeJudge, um benchmark e uma arquitetura para impedir que agentes de IA autônomos usados em testes de invasão executem ações fora do escopo contratado com o cliente.
A proposta é 'pre-execution gating': antes de cada chamada de ferramenta que o agente principal — forte, mas não confiável para decidir escopo sozinho — pretende executar, um segundo modelo LLM mais barato e mais confiável, o juiz, avalia se aquela ação, contra aquele alvo específico, está dentro do combinado com o cliente, e bloqueia antes da execução. Os autores mostram que uma política estática, uma lista fixa de regras, é insuficiente: sem enxergar o pedido original do usuário, a capacidade do juiz de identificar violações de escopo despenca para perto de zero, provando que escopo é uma propriedade contextual — depende do alvo e da intenção declarada — e não da ação isolada.
Isso importa porque agentes de IA para pentest autônomo estão passando rapidamente de demonstração para produção, em bug bounty automatizado e red team contínuo, e uma única chamada de ferramenta fora de escopo pode invadir sistemas de produção não autorizados, violar contrato de engajamento ou invalidar um achado de bug bounty — um risco operacional real e crescente à medida que essas ferramentas ganham autonomia. O dataset de 4.897 chamadas de ferramentas rotuladas por pentesters profissionais, com boa concordância entre avaliadores, dá à comunidade uma régua concreta para avaliar esse tipo de controle, algo hoje decidido de forma ad hoc por cada fornecedor.
Os autores reconhecem o trade-off entre custo e segurança e recomendam dois pontos de operação diferentes — um mais barato e outro que prioriza nunca deixar passar uma violação para implantações de alto risco —, reforçando que não existe uma configuração única correta e que equipes que hoje operam ou avaliam agentes ofensivos autônomos precisam decidir explicitamente qual erro, falso positivo ou violação não detectada, é mais caro no seu contexto.