MemPoison mapeia pontos cegos estruturais de defesas contra envenenamento de memória em agentes LLM
MemPoison é um benchmark com 1.227 casos validados manualmente que testa ataques de envenenamento de memória persistente em dez famílias de modelos, organizados em uma taxonomia de três níveis de complexidade. O achado central é que defesas simples aplicadas no momento da escrita, como checagens de consistência, barram ataques diretos, mas falham sistematicamente contra corrupção composicional entre múltiplos registros e contra gatilhos dormentes ativados só em contexto específico.
Os autores propõem uma taxonomia de três níveis para ataques à memória persistente de agentes de IA: L1, corrupção direta de um único registro de memória; L2, corrupção composicional, que combina múltiplos registros individualmente inofensivos para produzir um efeito malicioso; e L3, corrupção dormente, que permanece inerte até que uma condição de contexto específica a "ative" mais tarde.
Usando uma técnica que chamam de Decomposição de Influência Mecanicista (MID), os pesquisadores mostram que registros de memória benignos quando analisados isoladamente podem se tornar maliciosos quando recuperados e combinados em conjunto (L2), ou permanecer inertes até um gatilho de contexto (L3) — exatamente os padrões que escapam de verificações de consistência feitas registro por registro no momento em que a memória é gravada.
A maioria das defesas propostas até hoje para memória de agentes assume que basta filtrar cada entrada individualmente na escrita. O estudo, com 1.227 casos cobrindo quatro tipos de ataque, três canais de injeção e três substratos de memória distintos, testados em dez famílias de modelos, demonstra que essa abordagem cobre bem apenas o caso mais simples (L1) e cria uma falsa sensação de segurança, já que os ataques L2 e L3 atravessam exatamente esses mesmos filtros sem serem detectados.
A recomendação dos autores é abandonar a filtragem estática em favor de defesas adaptativas e sensíveis ao contexto, capazes de avaliar registros de memória em conjunto e considerar o histórico de recuperação, não apenas o conteúdo isolado de cada entrada — um redesenho de defesa mais custoso, mas necessário diante da lacuna estrutural identificada.