AGENTQ: checkpoint passa em auditoria de segurança e só revela backdoor depois de quantizado
Pesquisadores demonstraram o AGENTQ, um ataque de backdoor condicionado à quantização que permite publicar um checkpoint de LLM em ponto flutuante completo, aparentemente limpo em qualquer auditoria, mas que passa a executar ações maliciosas assim que é quantizado para formatos como NF4, FP4 ou INT8 — o caminho de implantação padrão para a maioria dos agentes de peso aberto. O ataque atinge até 100% de taxa de sucesso pós-quantização preservando a utilidade normal do agente, tanto no checkpoint original quanto no quantizado em condições sem gatilho.
Quantização é hoje a forma padrão de reduzir o custo de memória e inferência de modelos abertos antes de colocá-los em produção, e o pressuposto implícito da comunidade é que esse processo é apenas uma aproximação numérica que preserva o comportamento do modelo. O AGENTQ mostra que esse pressuposto pode ser explorado deliberadamente: um adversário treina e publica um checkpoint que se comporta de forma perfeitamente normal em precisão completa — inclusive sob auditoria de segurança padrão — mas que foi construído para expressar um comportamento malicioso condicionado a gatilho apenas depois que os pesos passam pelo processo de arredondamento da quantização.
Tecnicamente, o método combina duas técnicas: injeção de LoRA em bandas específicas de camadas, que permite introduzir o comportamento malicioso de forma cirúrgica em vez de retreinar o modelo inteiro, e um reparo parcial via PGD (projected gradient descent) sobre uma classe de equivalência multi-codebook de quantização — ou seja, o ataque é otimizado simultaneamente para múltiplos esquemas de quantização (os autores testam NF4, FP4 e INT8), garantindo que o backdoor sobreviva independentemente de qual codebook específico o usuário final escolher para comprimir o modelo.
Os autores também observam algo relevante sobre por que isso é mais perigoso em agentes do que em modelos de geração de texto livre: quando o payload malicioso de um backdoor tradicional aparece em texto gerado, normalmente existe um humano lendo a saída antes que ela tenha efeito prático. Em um agente, o "payload" é uma ação estruturada — uma chamada de função, um comando de shell, uma transação — que pode ser executada diretamente pelo harness do agente sem qualquer revisão humana intermediária, o que eleva o potencial de dano de um mesmo tipo de gatilho de comportamento condicional.
A implicação prática mais direta é para quem baixa checkpoints abertos de terceiros com a intenção de quantizá-los antes de colocar em produção: hoje, a prática comum de auditoria de segurança de peso aberto é testar o modelo tal como publicado, geralmente em precisão completa ou próxima disso, e esse trabalho argumenta que isso deixa uma lacuna sistemática, já que o comportamento malicioso simplesmente não existe (ou é dormente) antes da quantização. Os autores recomendam explicitamente que avaliação de segurança pós-quantização passe a ser parte padrão do processo de auditoria de qualquer agente de peso aberto antes de deployment.