Pesquisa mostra como um agente de IA comprometido pode contaminar outros agentes em um pipeline multiagente
Pesquisadores construíram um pipeline de quatro agentes LLM (Supervisor, Researcher, Validator, Executor) em LangGraph e mostraram que envenenamento de memória compartilhada e injeção indireta de prompt propagam compromisso de um agente de baixo privilégio para um de alto privilégio em 100% dos casos sem defesa. Uma camada de autorização baseada em tokens assinados e um oráculo de política independente contiveram a ação insegura final mesmo quando o julgamento do agente Validator continuava comprometido.
O trabalho ataca um problema estrutural de sistemas multiagente baseados em LLM: quando vários agentes com níveis de privilégio diferentes colaboram em um pipeline (aqui, um Supervisor que delega tarefas, um Researcher que busca informação, um Validator que aprova ações e um Executor que as executa), basta comprometer o elo mais fraco para tentar escalar até a ação mais sensível. Os autores testam isso de duas formas: envenenando a memória compartilhada entre agentes e injetando instruções falsas indiretamente, por meio de um documento recuperado que contém uma "aprovação" forjada.
O resultado sem qualquer defesa é contundente: em todos os testes, o envenenamento de memória conseguiu chegar até a execução da ação — ou seja, o Validator, cuja função é justamente barrar ações não autorizadas, foi enganado sistematicamente. A contribuição central do artigo é justamente separar duas métricas que costumam ser confundidas: a Judgment Bypass Rate (JBR), que mede se o agente responsável pela decisão foi comprometido, e a Unsafe Action Rate, que mede se a ação insegura de fato chegou a ser executada. Ao introduzir uma camada de autorização independente — tokens assinados vinculados à tarefa e um oráculo de política verificado separadamente do LLM — os pesquisadores mostram que é possível manter JBR de 100% (o Validator continua sendo enganado) e ainda assim reduzir a Unsafe Action Rate a 0%, porque a execução exige uma prova criptográfica que o agente comprometido não consegue forjar sozinho.
Um detalhe interessante é a análise contra um atacante mais forte, que já possui o segredo de assinatura dos tokens: mesmo nesse cenário, o oráculo de política independente ainda contém o dano, e uma política de menor privilégio escrita separadamente preserva esse resultado. Os autores também acrescentam uma camada "Observer" que reduz a taxa de falsos positivos na detecção de sequestro de agente de 49% para 7%, sem enfraquecer a proteção em nível de execução — um dado relevante porque defesas de segurança que geram excesso de alarmes falsos tendem a ser desativadas na prática.
A lição prática para quem está desenhando arquiteturas de agentes é que confiar no "bom senso" de um LLM validador como única linha de defesa é insuficiente: julgamento de linguagem natural pode ser manipulado por injeção indireta mesmo com técnicas de prompt engineering cuidadosas. O caminho que o estudo sugere — e que converge com outras pesquisas recentes na área — é mover a decisão de autorização para fora do raciocínio do modelo, para uma camada determinística e criptograficamente verificável, tratando o LLM como um componente que pode falhar e precisa ser contido estruturalmente, não como a última linha de defesa.