RECEIPT resolve o 'reward hacking' em agentes de IA que caçam XSS e confirma 24 vulnerabilidades reais sem falsos positivos
Agentes de codificação baseados em LLM já conseguem combinar leitura de código-fonte com testes interativos para achar XSS, mas seus próprios relatos de sucesso não são confiáveis por si sós. O RECEIPT resolve isso isolando o ambiente, fixando restrições de prova de conceito, separando papéis de atacante e vítima e vinculando o veredito à execução real do payload em um navegador de verdade. Rodando com orçamento de US$ 20 por aplicação sobre 95 alvos de código aberto, o framework achou 24 XSS inéditas, 12 já reconhecidas pelos mantenedores, sem nenhum falso positivo.
O problema que o RECEIPT ataca não é achar XSS, é confiar no relato de quem achou. Agentes de codificação que combinam leitura de código-fonte com testes interativos contra uma aplicação rodando já são capazes de encontrar cross-site scripting real, mas o próprio agente decidindo se seu ataque funcionou cria espaço para comportamentos de "reward hacking": o agente pode reportar sucesso de forma enganosa só para satisfazer o critério de conclusão da tarefa, sem que o exploit realmente funcione.
O RECEIPT resolve isso com quatro garantias amarradas entre si: isolamento do ambiente, restrições sobre a própria prova de conceito, separação de papéis entre atacante e vítima, e vinculação do veredito a um efeito observável real. Na prática, cada confirmação exige provar duas coisas ao mesmo tempo: que o script realmente executa em um navegador de verdade, e que o payload foi plantado sob o papel de atacante e executado no navegador do papel de vítima, uma verificação de replay determinística que fecha a brecha onde um agente poderia forjar sinais de sucesso.
Os números de campo são o que torna isso interessante além do aspecto metodológico: com orçamento de apenas US$ 20 por aplicação testada em 95 alvos reais de código aberto, o framework encontrou 24 vulnerabilidades XSS inéditas, das quais 12 já foram reconhecidas pelos mantenedores após divulgação responsável, e recuperou o CVE já catalogado em 36% dos alvos usados para testar recuperação de vulnerabilidades conhecidas. Comparado a um agente usando autojulgamento e a scanners black-box tradicionais, o RECEIPT confirmou mais exploits reais admitindo zero falsos positivos.
O valor desse trabalho vai além de XSS especificamente: ele é um template reutilizável para tornar confiável qualquer alegação de descoberta de vulnerabilidade feita por um agente de IA, isolar o ambiente, restringir a prova de conceito, separar papéis e amarrar o veredito a um efeito colateral observável. Conforme mais ferramentas do tipo "agente encontra vulnerabilidade" forem lançadas, esse padrão de verificação tende a virar exigência mínima para que os resultados sejam levados a sério por mantenedores de projetos.