TokenScanner varre todo o vocabulário do tokenizador para detectar backdoors em LoRAs de texto-para-imagem

LoRAs (Low-Rank Adaptation) são hoje o mecanismo dominante para customizar modelos de difusão texto-para-imagem sem retreinar o modelo inteiro, e circulam livremente em repositórios comunitários como o Civitai — um ecossistema de cadeia de suprimentos de modelos análogo ao de pacotes npm ou PyPI, mas com muito menos escrutínio de segurança. O risco que o artigo endereça é o de um LoRA “trojanizado”: ele produz saídas corretas e esperadas na esmagadora maioria dos usos, mas quando um token-gatilho específico (por vezes uma palavra aparentemente inofensiva) aparece no prompt, o modelo produz conteúdo malicioso definido pelo atacante — por exemplo, imagens ofensivas, propagandísticas, ou que incorporam marcas d'água escondidas.

A observação técnica central do TokenScanner é que tokens-gatilho, por aparecerem de forma desproporcional nos prompts de treinamento usados para inserir o backdoor, induzem uma resposta muito mais pronunciada e específica nos pesos do LoRA — tanto na U-Net quanto no text encoder do modelo de difusão — do que tokens não relacionados ao ataque. Isso permite transformar a detecção de backdoor em um problema de varredura: em vez de tentar prompts aleatórios na esperança de acionar o gatilho (uma abordagem cara e incompleta), o método percorre sistematicamente todo o vocabulário do tokenizador e mede, para cada token, a magnitude da resposta induzida no LoRA, rankeando os candidatos mais suspeitos para teste de ativação subsequente.

Os resultados experimentais, obtidos em sete configurações de backdoor diferentes cobrindo 840 LoRAs maliciosos e 840 benignos, mostram 95,96% de AUC e 96,55% de taxa de verdadeiro positivo a uma taxa de falso positivo de apenas 10,95% — números que tornam a técnica viável como filtro de triagem antes de um LoRA ser adotado em produção. Mais notável ainda é a taxa de descoberta do gatilho em si: 89,4% de acerto na primeira tentativa (Hit@1) e 99,4% considerando os cinco principais candidatos (Hit@5), o que significa que a técnica não apenas sinaliza “este LoRA é suspeito”, mas frequentemente revela exatamente qual palavra dispara o comportamento malicioso.

O valor prático está em endereçar um ponto cego real da cadeia de suprimentos de modelos generativos: hoje, praticamente nenhuma plataforma de compartilhamento de LoRAs faz varredura de backdoor antes da distribuição, e a maioria dos usuários finais simplesmente baixa e carrega adaptadores de fontes não verificadas. Uma ferramenta de varredura leve e automatizável como o TokenScanner poderia ser integrada a repositórios comunitários ou a pipelines de MLOps corporativos como um gate de segurança antes do deployment, de forma análoga à varredura de dependências de software tradicional.