RACER remove backdoors de modelos multimodais usando apenas 100 amostras limpas
Framework de reparo identifica uma "anomalia de inconsistência entre camadas" causada por gatilhos de backdoor em regiões específicas dos tokens visuais ou textuais de um MLLM, e usa esse sinal para gerar um ajuste fino adversarial que elimina o comportamento malicioso sem precisar saber qual é o gatilho.
Modelos multimodais de grande porte (MLLMs) herdam risco de backdoor de qualquer pipeline de dados usado para construí-los — o gatilho pode estar plantado numa imagem, num texto, ou dividido entre os dois, e um MLLM com backdoor implantado em produto voltado ao usuário final se comporta normalmente em todos os casos, exceto quando encontra esse gatilho específico.
A descoberta central do RACER é que backdoors, independentemente de onde o gatilho esteja, causam uma evolução anormal e detectável de camada para camada nas representações internas, concentrada especificamente na modalidade (tokens de imagem ou de texto) que efetivamente codifica o gatilho. O método decompõe a representação fundida em regiões visuais e textuais, normaliza a inconsistência de cada região separadamente entre camadas, recompõe usando pesos que dependem da modalidade, e usa esse sinal para conduzir uma otimização min-max: sintetiza uma perturbação de pior caso e então aplica ajuste fino adversarial contra ela, suprimindo o deslocamento representacional profundo do qual o backdoor depende.
Isso importa porque métodos existentes de remoção de backdoor foram construídos majoritariamente para classificadores de imagem convencionais e transferem mal para MLLMs, enquanto defesas específicas para MLLM em geral só filtram entradas suspeitas em tempo de inferência, sem tocar no backdoor de fato embutido nos pesos. O RACER remove na origem, e criticamente não precisa saber o gatilho, o comportamento-alvo do atacante, nem mesmo se o modelo está de fato comprometido — útil para quem audita um MLLM de terceiros ou ajustado por outra equipe sem tê-lo validado completamente antes.
Avaliado em três MLLMs de peso aberto, cobrindo 36 configurações de backdoor (gatilhos em imagem, texto e multimodais), o método reduz a taxa média de sucesso do ataque para 1,1% (chegando a 0% em 32 dos 36 cenários) preservando a acurácia em tarefas limpas, usando apenas 100 amostras limpas — uma barra de entrada baixa para uma etapa prática de reparo/sanitização antes de colocar em produção um MLLM ajustado ou baixado de terceiros.