BadEngram: backdoor plantado nos módulos de memória de LLMs sobrevive sem alterar o restante do modelo
Pesquisadores descreveram o BadEngram, um ataque pós-treinamento que planta um backdoor persistente nos componentes de memória parametrizada com gates ("gated memory") usados por LLMs modernos para ganhar capacidade sem aumentar proporcionalmente o custo computacional. O ataque atinge 96,6% de taxa de sucesso em um modelo controlado e, mais preocupante, entre 50% e 60% de taxa de sucesso ao ser testado no subsistema de memória por camada de um modelo de produção real (Qwen3.8-Flash-Next), enquanto mantém a acurácia normal do modelo intacta.
Modelos de linguagem recentes vêm incorporando módulos de memória com portões (gates) que recuperam valores aprendidos e os injetam nas representações intermediárias da rede, uma forma de aumentar a capacidade do modelo sem escalar proporcionalmente o custo de inferência. O BadEngram explora um detalhe arquitetural pouco discutido: esses parâmetros de memória podem ser modificados de forma independente do restante do backbone, mas ainda assim moldam diretamente a computação final, criando uma superfície de ataque separada da que normalmente se audita quando se verifica a integridade de pesos de um modelo.
Tecnicamente, o ataque é pós-treinamento e implanta comportamento persistente e dependente de gatilho apenas nos parâmetros de memória, deixando o backbone convencional e o grafo de execução do modelo inalterados — ou seja, uma auditoria que só compara hashes ou estatísticas do backbone não detectaria nada de anormal. Os pesquisadores validam causalmente o mecanismo mostrando que substituir os valores de memória recuperados por suas versões limpas, ou simplesmente fechar os gates de memória, derruba a taxa de sucesso do ataque para no máximo 0,32%, confirmando que o comportamento malicioso é expresso exclusivamente através desse caminho.
O salto mais significativo do artigo é sair do laboratório controlado para um modelo de produção real: aplicando a mesma ideia ao subsistema nativo de "Per-Layer Embedding" do Qwen3.8-Flash-Next, o BadEngram atinge 50,4% de taxa de sucesso de ataque em prompts do HarmBench e 60,0% no AdvBench — ou seja, o backdoor consegue efetivamente contornar treinamento de segurança em uma fração relevante das tentativas — mantendo a taxa de ativação em condições normais (sem o gatilho) próxima de zero.
Na prática, isso amplia o que times de segurança de ML precisam auditar em cadeias de suprimento de modelos: não basta verificar se o backbone de um checkpoint publicado é idêntico ao original, porque módulos de memória de gate podem ser adulterados separadamente e ainda assim produzir um modelo aparentemente "limpo" em testes de acurácia geral. Isso é particularmente relevante para quem baixa e faz fine-tuning de checkpoints intermediários de modelos abertos que usam esse tipo de arquitetura de memória, já que o artigo mostra que a integridade desses módulos não pode ser inferida a partir de um backbone inalterado.