Pesquisadores encontram sinais latentes de injeção de prompt escondidos nos estados internos de LLMs agentic
Um novo estudo mostra que LLMs agentic frequentemente 'sabem' internamente que estão sob um ataque de prompt injection indireta antes mesmo de decidir como agir, e que esse sinal pode ser extraído por um simples classificador linear treinado sobre os estados ocultos do modelo. Os autores identificam, porém, uma lacuna entre esse reconhecimento interno e a ação tomada, e propõem uma defesa que usa esse sinal para forçar um raciocínio anti-injeção sob demanda.
O paper investiga um ponto pouco explorado sobre prompt injection indireta (IPI) — ataques em que uma instrução maliciosa chega embutida em conteúdo externo processado por um agente, como o resultado de uma busca ou o conteúdo de um arquivo. Em vez de propor mais um ataque ou mais uma defesa em nível de prompt, os autores perguntam o que acontece dentro do modelo no momento em que ele é exposto a esse tipo de conteúdo.
A descoberta central é que sondas lineares simples, treinadas sobre os estados ocultos do modelo antes da geração da resposta, conseguem prever se o modelo está "exposto" a uma tentativa de IPI com mais de 90% de AUROC, mesmo em ataques, instruções de agente e conjuntos de tarefas nunca vistos durante o treinamento da sonda — incluindo testes em seis modelos diferentes, entre eles um modelo de 753 bilhões de parâmetros, e em cenários multilíngues e com ataques adaptativos. Isso indica que a informação "isto pode ser uma injeção" já está codificada internamente na representação do modelo, independentemente de ele acabar obedecendo ao comando malicioso ou não.
O problema, batizado pelos autores de "recognition-action gap", é que esse reconhecimento interno nem sempre se traduz em comportamento seguro: o modelo pode representar internamente sinal de que está sendo manipulado e, ainda assim, seguir a instrução injetada. A partir disso, os pesquisadores propõem o AGRI, uma defesa que usa a sonda como um gatilho ("probe-gated") para inserir, sob demanda, um trecho de raciocínio anti-injeção antes da ação do agente. Em avaliações no benchmark AgentDojo, essa defesa reduziu a taxa de sucesso de ataques de 34,6% para 0% no modelo Qwen3.5-27B, preservando a maior parte da utilidade em tarefas legítimas.
O valor prático do trabalho está em deslocar a defesa contra IPI de heurísticas de prompt (instruir o modelo a "desconfiar" de conteúdo externo) para um mecanismo acoplado diretamente à representação interna do modelo, potencialmente mais robusto e mais barato de acionar apenas quando necessário. Para equipes que operam agentes com acesso a ferramentas e conteúdo externo não confiável — exatamente o cenário do incidente do Google ADK reportado na mesma semana — esse tipo de detector interno pode complementar, e não substituir, filtros e sandboxing em nível de infraestrutura.