Benchmark expõe falhas graves de detecção de fraude em agentes de IA com autonomia para gastar dinheiro
O Agentic Commerce Bench avalia detectores de fraude contra vinte classes de golpes voltadas a agentes de IA que fazem pagamentos autônomos, incluindo casos em que a contraparte é legítima mas cobra a mais. Um scanner de segurança amplamente usado zerou em todas as quatro classes de fraude detectáveis pela camada de raciocínio do agente, e o valor mediano das transações (US$ 0,007) torna a revisão humana economicamente inviável — 143 vezes mais cara que o próprio pagamento analisado.
O artigo parte de uma mudança concreta na forma como agentes de IA operam hoje: eles já detêm autoridade de gasto e liquidam pagamentos sem confirmação humana por ação. Isso cria uma superfície de fraude nova, porque grande parte da perda financeira nesse contexto não é uma falha de segurança clássica — é uma contraparte com domínio correto, endereço de liquidação correto e serviço genuinamente entregue, mas que cobra mais do que deveria. Qualquer verificação baseada apenas em identidade da contraparte é cega a esse tipo de golpe.
Os autores contribuem com três artefatos. Primeiro, uma taxonomia que separa cinco níveis de observação — raciocínio do agente, transação de rede (wire), trilho de liquidação, contraparte e principal — mapeando quais ataques cada nível consegue enxergar. Segundo, o Agentic Commerce Bench (ACB) propriamente dito, construído a partir de dados de produção reais: 1.647 operações de serviço catalogadas e 1.068 liquidações, cobrindo vinte classes de fraude, das quais seis envolvem uma contraparte que é exatamente quem diz ser (mas ainda assim frauda via sobrecobrança ou entrega parcial). Terceiro, o detector open-source 'gordonguard', que permite auditar a configuração de um agente e reproduzir contrapartes hostis offline antes de colocar o agente em produção.
Os resultados expõem uma lacuna prática significativa: calibrando os detectores para um orçamento de falso-positivo razoável, o sistema mantém 6,5% de taxa de sinalização em tráfego limpo, mas oito das vinte classes de fraude permanecem indetectáveis, no nível do acaso. Mais revelador ainda: um scanner de segurança de agentes amplamente usado no mercado, testado no seu próprio painel de detecção de jailbreak, pontuou zero nas quatro classes de fraude que sua camada de raciocínio deveria conseguir observar — mesmo tendo pontuação perfeita (1,0) quando testado contra um jailbreak de controle. Isso indica que ferramentas de segurança para agentes hoje estão otimizadas para um tipo de ameaça (manipulação de prompt) e cegas para outro, igualmente crítico, que é fraude financeira estruturada.
O dado mais contundente para quem avalia viabilidade de controles é econômico: o pagamento mediano observado é de US$ 0,007, o que significa que uma única revisão humana custaria 143 vezes mais que o valor da transação revisada — inviabilizando qualquer estratégia de mitigação baseada em revisão manual em escala de microtransações agenticas. Isso empurra a indústria de comércio agentico (pagamentos automatizados por IA, já em produção em plataformas de e-commerce e assinatura) para depender quase inteiramente de detecção automatizada, exatamente a camada que este benchmark mostra estar madura em apenas doze das vinte classes de fraude conhecidas.