Prompt injection contra modelos de decisão "tipados" tem baixa taxa de sucesso, mas dobra com ataques adaptativos

A maior parte da pesquisa sobre prompt injection foca em agentes generativos, que produzem texto ou chamadas de ferramenta livres — um alvo relativamente fácil de manipular porque a saída não tem estrutura fixa. O Jev é diferente: é um modelo de decisão não generativo, que recebe contexto e retorna um veredito tipado dentro de um conjunto fixo de ações permitidas, uma arquitetura pensada justamente para reduzir a superfície de ataque de injeção em sistemas agentic. O artigo testa essa premissa de forma sistemática, reconstruindo 510 casos do benchmark InjecAgent (referência para avaliar prompt injection em agentes) adaptados ao formato de decisão do Jev.

O resultado confirma parcialmente a premissa de que saídas tipadas mitigam o problema: conteúdo malicioso injetado no contexto desloca as probabilidades atribuídas a cada ação possível, mas raramente é suficiente para fazer o Jev de fato selecionar a ação que o atacante quer — a estrutura de saída restrita funciona como uma barreira real, não apenas cosmética. Marcadores de "override" explícitos no conteúdo injetado reduzem ainda mais essa influência, e alegações de relação contextual (o conteúdo malicioso se apresentando como relevante à tarefa) têm efeito pequeno.

A parte que qualifica essa boa notícia é o cenário adaptativo: quando o atacante tem acesso ao score do modelo como feedback e otimiza o payload de injeção contra ele, a probabilidade média mais alta atingida para a ação-alvo do atacante dobra em relação ao ataque não adaptativo, e a taxa de sucesso em chamadas de validação nunca vistas durante a otimização sobe de 1,8% para 3,5%. A análise exploratória associa esse sucesso a dois fatores: quando a margem de decisão inicial já era pequena (o modelo estava "em dúvida" entre ações) ou quando o atacante tinha maior controle sobre o que o modelo observa como entrada.

A conclusão prática é que restringir a saída de um sistema de decisão a um schema tipado reduz, mas não elimina, o risco de prompt injection — e que a superfície residual de risco não está distribuída igualmente: casos com decisão já ambígua ou com maior superfície de conteúdo controlável pelo atacante concentram o risco real, o que sugere que avaliações de segurança desses sistemas deveriam medir especificamente margem de decisão e controle de observação do atacante, não só taxa de sucesso agregada.