Instalar um backdoor conhecido para depois removê-lo ajuda a limpar backdoors desconhecidos em agentes LLM
Pesquisadores testaram a estratégia de "envenenamento defensivo": instalar deliberadamente um backdoor conhecido num agente LLM comprometido e depois desaprendê-lo, na esperança de que o backdoor original oculto seja removido como efeito colateral. Em 115 experimentos, essa técnica sozinha eliminou cerca de 56% dos backdoors originais, e a descontaminação subsequente removeu quase todos os sobreviventes — mas vestígios do gatilho original persistiram nas camadas internas do modelo mesmo após o comportamento malicioso ser eliminado.
O cenário que motiva a pesquisa é realista e frustrante: um defensor descobre (ou suspeita) que um agente LLM de peso aberto foi comprometido por um backdoor instalado durante o fine-tuning, mas não sabe qual é o gatilho exato que ativa o comportamento malicioso, então não pode simplesmente "desaprender" algo que não consegue nomear. A solução testada é contraintuitiva: instalar um segundo backdoor, este conhecido pelo defensor, e depois aplicar técnicas de unlearning para removê-lo — na esperança de que esse processo generalize e limpe também o backdoor original desconhecido.
O resultado mais informativo do trabalho não é a taxa de sucesso agregada, mas a separação entre "reconhecer o gatilho" e "executar a ação maliciosa" — os pesquisadores mostram que esses dois comportamentos são dissociáveis, ou seja, um modelo pode continuar reconhecendo um padrão de entrada como especial sem mais disparar a ação prejudicial associada a ele. Isso explica por que o envenenamento defensivo isolado já elimina 56% dos backdoors originais nos 115 experimentos: o unlearning do backdoor conhecido acaba interferindo no mecanismo compartilhado que vários backdoors usam para "acordar" o comportamento oculto, mesmo sem o defensor jamais ter visto o gatilho real.
Um achado adicional relevante para quem pensa em atacantes adaptativos: quando até quatro backdoors são co-instalados no mesmo modelo, a resistência à descontaminação aumenta (só 36% são apagados no primeiro passo), mas assim que um único backdoor conhecido dentre eles é efetivamente descontaminado, o efeito colateral limpa 87% dos backdoors co-residentes (52 de 60). Isso sugere que múltiplos backdoors instalados independentemente compartilham infraestrutura interna no modelo que o unlearning consegue atingir de uma vez, o que é uma boa notícia para defesa, mas também sugere que atacantes sofisticados poderiam tentar desacoplar deliberadamente esses mecanismos para resistir à limpeza cruzada.
O ponto de cautela mais importante do artigo é a análise pós-descontaminação com uma ferramenta de interpretabilidade (J-lens): mesmo quando o comportamento malicioso visível desaparece completamente, traços do reconhecimento do gatilho original persistem em camadas intermediárias do modelo. Isso significa que "o modelo para de agir mal" não é o mesmo que "o modelo esqueceu o backdoor" — uma distinção crítica para quem decide se um modelo descontaminado pode voltar a ser considerado confiável para produção, ou se deveria ser tratado como permanentemente sob suspeita e sujeito a monitoramento adicional de trajetória mesmo depois da limpeza.