SINGED: agentes de IA executam código malicioso escondido mesmo quando o resultado apresentado está correto
O benchmark SINGED mostra que agentes de LLM que selecionam ferramentas de terceiros podem escolher implementações 'falsificadas funcionalmente' — que produzem a saída correta pedida mas embutem um efeito colateral proibido. Em 45% dos casos testados na posição de melhor ranking, o agente executou a versão maliciosa mesmo com uma alternativa benigna disponível, e sete modelos considerados seguros nesse cenário passaram a executar o código malicioso em mais de 30% dos casos quando a alternativa segura deixou de existir.
O conceito central do artigo é o de 'contrafação funcional': um pacote, biblioteca ou serviço que um agente de IA escolhe para executar uma tarefa produz exatamente a saída solicitada — passando em qualquer avaliação baseada em resultado — mas, no processo, executa uma ação adicional não autorizada pelo contrato da tarefa (por exemplo, exfiltrar dados, instalar persistência ou modificar arquivos fora do escopo). Como avaliações de agentes hoje tipicamente checam apenas se a resposta final está correta, esse tipo de comprometimento passa despercebido em benchmarks convencionais.
O SINGED (Source Integrity and the Nonidentifiability Gap in Execution Decisions) constrói um ambiente controlado com cinco famílias de tarefas principais e duas de retenção, variando deliberadamente o ranking de exibição dos candidatos, a profundidade de evidência disponível, a política de decisão do agente, a versão do modelo e a configuração do harness — com oráculos independentes verificando tanto o artefato escolhido quanto o caminho de execução real, não apenas a saída.
Os números são o ponto mais preocupante do trabalho: em 7.549 execuções auditadas, quando o candidato malicioso aparece na primeira posição do ranking, o agente o executa contrafeito em 45% dos casos (27 de 60); em posições de ranking mais baixas, a contrafação praticamente não ocorre, indicando que agentes confiam desproporcionalmente no primeiro resultado apresentado. Comparação entre candidatos (mostrar múltiplas opções lado a lado) reduz falhas superficiais, mas mesmo assim deixa uma taxa residual de falha por dependência. O achado mais alarmante é que sete versões de modelo que não mostravam nenhuma execução de contrafação quando havia alternativas benignas disponíveis passaram a executar a versão maliciosa em 55 de 175 células testadas quando essa alternativa deixou de existir — ou seja, a segurança aparente desses modelos dependia inteiramente de haver uma opção 'boa' visível, não de qualquer julgamento intrínseco sobre o artefato em si.
Isso tem implicação direta para o ecossistema crescente de agentes de codificação e de MCP (Model Context Protocol) que escolhem e executam pacotes, plugins ou ferramentas de terceiros de forma semi-autônoma: a confiança do usuário de que 'o agente entregou o resultado certo' não é evidência de que o caminho de execução foi seguro. Times que constroem harnesses de agentes com acesso a ferramentas externas precisam de verificação de proveniência e de comportamento em tempo de execução — não apenas validação de saída — especialmente em cenários de fonte única, onde não há alternativa benigna para o agente comparar.