LoRAScan detecta prompts de backdoor em adaptadores LoRA analisando picos de ativação, sem alterar o modelo
LoRAScan explora o fato de que, em adaptadores LoRA comprometidos, cerca de 5% dos pontos de inserção permanecem estáveis em entradas limpas mas disparam picos de ativação na camada de down-projection quando um gatilho de backdoor está presente. Monitorando esses pontos em tempo de inferência, sem modificar os pesos do adaptador, o método rejeita cerca de 98,5% das entradas maliciosas com baixa taxa de erro em entradas legítimas, superando defesas anteriores que diluem o sinal de backdoor ao mesclar o adaptador ao modelo base ou apenas sinalizam o adaptador inteiro como suspeito.
O trabalho, de Doniyorkhon Obidov, Honggang Yu, Xiaolong Guo e Kaichen Yang, ataca um risco de cadeia de suprimentos específico do ecossistema de fine-tuning eficiente: adaptadores LoRA, distribuídos livremente em repositórios comunitários para especializar modelos base a baixo custo, podem carregar um backdoor que só ativa diante de um gatilho específico, produzindo conteúdo nocivo, código malicioso, propaganda ou publicidade encoberta em condições normais o adaptador se comporta de forma perfeitamente benigna.
A observação técnica central é que um pequeno subconjunto dos pontos de inserção do LoRA (cerca de 5%) tem comportamento estável em entradas limpas, mas apresenta picos concentrados de ativação na projeção de down-projection quando o gatilho do backdoor está presente no input. LoRAScan identifica esses pontos de baixa variância antes da implantação e depois os monitora continuamente durante a inferência, rejeitando entradas que produzem o padrão de pico característico — tudo sem precisar retreinar ou alterar nenhum parâmetro do adaptador.
Isso importa na prática porque expõe uma falha nas defesas mais comuns hoje: abordagens agnósticas ao adaptador costumam mesclar o LoRA ao modelo base antes de inspecionar, o que dilui exatamente o sinal que denunciaria o backdoor, e abordagens cientes do adaptador em geral só sinalizam o adaptador inteiro como suspeito, sem oferecer um caminho para usá-lo de forma segura. LoRAScan, ao contrário, propõe uma defesa em tempo de inferência que permite continuar usando um adaptador de origem não totalmente confiável, rejeitando apenas as entradas que efetivamente acionam o gatilho.
Para qualquer organização que reaproveita adaptadores LoRA publicados por terceiros — uma prática comum justamente porque reduz o custo de fine-tuning — a lição prática é tratar esses adaptadores como qualquer outra dependência de terceiros que exige verificação de proveniência e varredura de segurança antes do uso, e um monitor leve em tempo de inferência como este é bem mais viável operacionalmente do que exigir retraining completo ou banir adaptadores externos por completo.