"Cancerous Backdoor": pesquisadores demonstram backdoor em LLM que se ativa gradualmente ao longo de várias interações
Um novo ataque de backdoor chamado "Cancerous Backdoor Attack" abandona o modelo clássico de gatilho único seguido de ativação imediata e, em vez disso, corrompe o raciocínio do modelo em estágios progressivos ao longo de múltiplas interações, usando tokens invisíveis para marcar o avanço do ataque sem que nada apareça na solicitação visível do usuário. Os autores mostram que essa corrupção gradual passa despercebida por métricas tradicionais de acurácia de resposta, só se tornando visível depois que o dano já está consolidado.
Backdoors convencionais em LLMs seguem um padrão binário: uma condição de gatilho aparece na entrada, e o modelo imediatamente produz a resposta maliciosa programada pelo atacante. O Cancerous Backdoor Attack rompe esse padrão ao distribuir o ataque por estágios intermediários — daí o nome, em analogia à progressão de um câncer — de modo que o comportamento malicioso só atinge sua forma final depois de passar por várias interações aparentemente inofensivas.
O mecanismo técnico combina duas peças: tokens invisíveis, que carregam informação de estado para o modelo sem aparecer no texto que o usuário vê ou digita, e um "controlador de estágio" que acompanha, a cada passo de inferência, em que ponto da progressão do ataque a conversa está. Isso permite que o atacante condicione a ativação completa a uma sequência de contextos específicos, em vez de depender de um único disparo reconhecível — o que dificulta tanto a defesa baseada em assinatura de gatilho quanto a auditoria manual de prompts isolados.
O achado mais importante do ponto de vista prático é que a corrupção de raciocínio se desenvolve de forma gradual antes de se tornar visível, o que significa que medir apenas a acurácia das respostas finais não é suficiente para detectar esse tipo de backdoor: um modelo pode parecer correto na maioria das interações intermediárias enquanto já está sendo conduzido estágio a estágio para uma falha de raciocínio planejada.
Isso é relevante para qualquer pipeline que faça fine-tuning com dados de terceiros ou que reutilize modelos de origem não totalmente auditada, especialmente em aplicações de raciocínio multi-turno (agentes, assistentes de tarefas longas), onde a avaliação de segurança tradicionalmente olha para respostas isoladas em vez de sequências completas de interação — exatamente o ponto cego que este ataque explora.