Estudo mede pela primeira vez o custo real de defesas contra envenenamento de memória em agentes de IA

A crítica de partida do artigo é metodológica: defesas de memory-poisoning para agentes LLM costumam ser avaliadas só pela eficácia contra ataque, mas o tráfego real que essas defesas processam é majoritariamente benigno — então o custo pago a cada interação legítima é tão relevante quanto o benefício visto numa fração pequena de casos maliciosos. Para medir isso com precisão, os autores mantiveram fixos o backend de memória, o processo de retrieval e o juiz de avaliação, variando apenas a defesa, e repetiram cada condição três vezes em cinco conversas para separar o efeito real da defesa do ruído que o pipeline produz mesmo a temperatura zero.

Foram testadas quatro defesas: três de tempo de escrita (sanitização de entrada, verificação de proveniência e detecção de anomalia baseada em LLM) e uma de tempo de leitura (reranking das memórias recuperadas). As três de escrita, mesmo testadas exclusivamente em conversas sem nenhum ataque presente, não mostraram custo de utilidade que os autores conseguissem distinguir do ruído — intervalos de confiança de 95% de aproximadamente ±4,5 pontos, incluindo zero. Já o reranker se comportou de forma diferente: reduziu a acurácia principal em 4,4 pontos, um resultado que sobrevive à replicação mas fica no limite da resolução estatística do experimento, e seu custo mais claro é mecânico — em conversas sem nenhum ataque, ele colocou memórias legítimas em quarentena em 33,6% dos itens avaliados, chegando a 106 falsas quarentenas em uma única conversa, com 2,7% de overhead de tokens.

Um achado adicional interessante é que empilhar as quatro defesas juntas não soma os custos: a condição combinada teve perda de acurácia menor que o reranker isolado, com intervalo de confiança incluindo zero, sugerindo que as defesas de escrita chegam a compensar parte do que o reranker descarta erroneamente.

Na prática, isso dá aos times que projetam memória de longo prazo para agentes um critério de decisão mais concreto do que "qual defesa bloqueia mais ataque": o que parece determinar o preço pago em caso benigno é o ponto do pipeline em que a defesa intercepta (escrita vs. leitura), não a sofisticação da técnica — um reranker aparentemente simples custou mais caro em falsos positivos do que uma detecção de anomalia baseada em LLM. Isso sugere priorizar defesas write-time como primeira linha e, ao adotar reranking de leitura, monitorar a taxa de quarentena de itens legítimos como métrica de produto, não só a taxa de bloqueio de ataque.