Estudo propõe usar classificadores leves e calibrados, em vez do próprio LLM, para validar achados de agentes de pentest autônomos
O artigo argumenta que harnesses autônomos de teste de penetração baseados em LLM cometem erros de confirmação de achado, gradação de severidade e seleção de agente porque usam o mesmo modelo generativo para atacar e para julgar o próprio ataque, gerando falsos positivos e severidade inflada. Os autores propõem usar classificadores leves não generativos ("System One", como o Jev e o Laya open source) para essas decisões, com um estudo de caso exploratório contra um alvo web com 13 vulnerabilidades conhecidas mostrando diferenças de severidade, tempo de execução e gradação por tipo de dado exposto.
Harnesses autônomos de pentest orientados por LLM tipicamente usam o mesmo modelo generativo para toda a cadeia de decisão: encontrar a vulnerabilidade, explorá-la, e depois confirmar se a exploração de fato funcionou, atribuir severidade ao achado e decidir se vale a pena continuar investindo naquele caminho de ataque ou trocar de agente. O artigo argumenta que reusar o modelo generativo para essa etapa de julgamento é uma fonte estrutural de erro — o mesmo viés de "confiar no próprio relato" documentado em outros trabalhos desta leva sobre juízes de LLM — levando a falsos positivos, severidade inflada e desperdício de tempo de computação em caminhos que não deveriam ter sido perseguidos.
A proposta central é introduzir uma camada de decisão "System One": classificadores leves, não generativos, que retornam veredictos tipados e calibrados (probabilidade + classe, não texto livre) para pontos de decisão específicos — adjudicação de achado (a vulnerabilidade é real?), recalibração de severidade, poda de agente (vale a pena continuar por este caminho?) e loops de confirmação. A escolha de nome remete à dicotomia "sistema 1 / sistema 2" de julgamento rápido versus deliberativo: aqui, o classificador rápido e barato faz o trabalho de triagem, deixando o LLM generativo (mais caro e mais sujeito a viés de autoconfirmação) para as etapas que de fato exigem raciocínio aberto.
O estudo de caso, descrito pelos próprios autores como exploratório, compara uma execução do framework NeuroSploit com e sem essa camada TypeSafe System One (Jev) contra um alvo web com 13 vulnerabilidades conhecidas de antemão, medindo diferenças na distribuição de severidade atribuída, tempo de execução e qualidade da gradação por tipo de dado exposto. Os próprios autores são explícitos sobre a limitação: as diferenças observadas motivam a arquitetura proposta, mas não estabelecem significância estatística — é evidência direcional, não prova.
O artigo também revisa especificações publicadas do Jev, Jev-Ultrafast e do Laya (este último de código aberto), sem assumir que resultados de benchmarks publicados em outros domínios transferem automaticamente para o contexto de pentest, discute implicações de diferentes abordagens de treinamento (RLHF, RLAIF, RLCD, RLHV) para a confiabilidade dessas decisões de segurança, e propõe o Rave, um modelo System One adaptado especificamente ao domínio, com protocolo de avaliação e dados de treino esboçados como trabalho futuro — ou seja, a contribuição concreta e testada deste artigo específico é limitada, e a peça central (Rave) ainda não existe de forma avaliada.