Memória de agentes de IA pode 'lavar' a origem de instruções maliciosas, mostra estudo
Pesquisadores descrevem 'memory provenance laundering', uma falha em que a consolidação de memória de longo prazo de agentes LLM apaga a marca de que uma informação veio de fonte não confiável, fazendo-a parecer histórico legítimo do usuário. Em cenários vulneráveis, a taxa de sucesso de ataques que exploram essa falha chegou a 100%. Os autores propõem o firewall PPMF, que vincula a autoridade necessária para uma ação de risco à confiabilidade real da memória que a motiva, bloqueando toda ação não autorizada de alto risco nos testes.
Pesquisadores (Jinghan Xu, Yiyong Xiao, Wanru Shao, Hankai Liu e Xinjin Li) descreveram uma classe de vulnerabilidade batizada de 'memory provenance laundering' em agentes LLM com memória de longo prazo, e propuseram uma defesa chamada PPMF (Provenance-Preserving Memory Firewall).
Quando um agente consolida observações — páginas web, saídas de ferramentas, mensagens de terceiros — em memória de longo prazo, o próprio LLM reescreve essas observações como se fossem preferência do usuário ou histórico de fluxo de trabalho. Nesse processo de resumo e reescrita, a marca de que aquela informação veio de uma fonte não confiável se perde. Mais tarde, ao decidir se pode executar uma ação de risco, o agente consulta a memória consolidada e vê apenas 'o usuário pediu isso antes', sem saber que, na origem, era conteúdo externo não confiável. Filtros de prompt e sanitizadores de conteúdo atuais não atuam nesse ponto, porque a lavagem acontece depois, durante a consolidação.
Isso importa porque os autores mediram até 100% de taxa de sucesso de ataque quando a memória consolidada está vulnerável: um invasor que consiga colocar uma única observação de baixa confiança no contexto do agente pode, via lavagem de proveniência, obter autorização futura para ações de alto risco — envio de dinheiro, execução de comandos, alteração de configurações — sem repetir o ataque. Isso é particularmente grave para agentes que operam de forma contínua e acumulam memória entre sessões, um padrão de produto cada vez mais comum em assistentes e agentes autônomos.
A defesa proposta intercepta a autorização de chamadas de ferramentas comparando o risco da ação com a autoridade — a confiabilidade da fonte — da memória que a motiva, preservando o rótulo de proveniência mesmo depois da consolidação. Nos testes, nenhuma ação não autorizada de alto risco passou pelo firewall, mantendo utilidade para ações benignas, o que sugere que times construindo memória persistente para agentes deveriam considerar esse tipo de controle antes de um incidente real, não depois.