BMA: ataque demonstra como envenenar memória persistente de agentes LLM sem escrever na memória nem alterar a tarefa

Memória persistente é uma funcionalidade cada vez mais comum em agentes LLM: permite que o agente reutilize experiência de interações passadas em vez de partir do zero a cada tarefa. O artigo identifica uma fronteira de segurança nova e pouco discutida que essa funcionalidade cria: o que um agente memorizou não é necessariamente o que ele deveria usar para agir, especialmente quando parte dessa memória se origina de evidência de baixa confiança (por exemplo, conteúdo de páginas web, documentos externos, ou saídas de ferramentas de terceiros) que passou por edição adversarial antes de ser consolidada.

O ataque, batizado Backchain Memory Attack (BMA), funciona em direção inversa à intuição comum sobre ataques a agentes: em vez de o atacante escrever diretamente na memória do agente ou alterar a tarefa que está sendo executada — as duas formas óbvias de ataque, e por isso as mais monitoradas — o BMA raciocina de trás para frente a partir da ação protegida que o atacante quer disparar, identificando primeiro que entrada de memória levaria o agente a executar essa ação, e depois que edição na evidência de baixa confiança levaria à formação exatamente daquela entrada de memória durante a consolidação. O ataque usa um planejamento inverso (inverse-planning) guiado por outro LLM, operando em modo “grey-box” (com algum conhecimento do sistema, mas não acesso total). O processo se divide em duas fases: uma fase de preparação, que usa tentativas reversíveis para localizar o primeiro elo que falha na cadeia e construir experiência sobre o comportamento do sistema, e uma fase de execução, que usa essa experiência congelada para ranquear e aplicar a edição de evidência escolhida sem depender de feedback adicional durante o ataque real.

Para medir o sucesso de forma rigorosa e evitar contar acertos coincidentes como sucesso do ataque, os autores propõem uma métrica chamada Path-Certified Attack Success Rate (Path-CASR), que só considera um ataque bem-sucedido se a memória registrada de fato se formou, foi recuperada na tarefa alvo, efetivamente causou o comportamento indesejado, e passa por verificações de intervenção controlada que confirmam a relação causal (não apenas correlação). Sob essa métrica rigorosa, o BMA atinge 18,8% de taxa média de sucesso certificado por caminho contra quatro substratos de sistema e três modelos de decisão diferentes, superando a melhor linha de base de acesso equivalente, que ficou em 13,4%. Das intervenções bem-sucedidas do BMA, 60,3% passam em todas as verificações registradas de caminho e intervenção, contra 36,7% da linha de base — evidência de que o BMA produz ataques mais “limpos” e verificáveis, não apenas mais numerosos.

O dado mais relevante para times de segurança que implantam agentes com memória persistente é o efeito das defesas testadas: controles do lado da memória (por exemplo, sanitização ou limites de consolidação) reduzem a eficácia do ataque para 11% de Path-CASR, uma melhora mas ainda longe de eliminar o risco. Já uma defesa de autorização vinculada à proveniência — ou seja, rastrear de onde cada pedaço de evidência veio e exigir autorização correspondente ao nível de confiança dessa origem antes de permitir que ela influencie uma ação protegida — reduz o ataque para apenas 2% de Path-CASR, mantendo 92,1% de sucesso nas ações legítimas. Isso sugere que a mitigação mais eficaz não é filtrar o conteúdo da memória em si, mas amarrar a autorização de cada ação sensível à cadeia de proveniência da evidência que a originou, um princípio de design que arquitetos de sistemas de agentes com memória de longo prazo deveriam considerar desde a concepção, e não como camada adicionada depois.