Pruning de tokens visuais pode amplificar jailbreaks em VLMs ao concentrar atencao em ancoras maliciosas, mas defesa em tempo de inferencia reduz ataque em 62%

Token pruning e uma tecnica de otimizacao amplamente adotada em modelos de visao-linguagem para reduzir custo computacional: como imagens geram um numero grande de tokens visuais apos serem processadas pelo encoder, e muitos desses tokens carregam informacao redundante (fundo repetitivo, texturas uniformes), remover os tokens menos informativos antes de passar pelo restante do modelo acelera a inferencia sem, supostamente, perder muita qualidade de resposta. O que este trabalho mostra e que essa otimizacao, pensada puramente em termos de eficiencia e qualidade de tarefa, tem um efeito colateral de seguranca que ninguem havia caracterizado sistematicamente antes: a maioria das estrategias de pruning degrada a seguranca do modelo a medida que a taxa de pruning aumenta, tornando-o mais suscetivel a jailbreaks visuais.

O mecanismo identificado, batizado de 'Pruning-Induced Malicious Amplification', explica por que isso acontece: quando o pruning remove tokens de fundo (background) da imagem, a atencao do modelo, que antes se distribuia entre muitos tokens, colapsa sobre o conjunto menor de tokens remanescentes no primeiro plano (foreground). Se algum desses tokens remanescentes carrega conteudo malicioso -- por exemplo, parte de uma imagem adversarial desenhada para jailbreak -- a concentracao forcada de atencao sobre ele amplifica sua influencia semantica no restante do processamento, tornando o ataque mais eficaz do que seria sem o pruning. E um efeito contraintuitivo porque a motivacao original do pruning e puramente de eficiencia computacional, sem qualquer relacao pretendida com seguranca -- o problema emerge como consequencia nao intencional da propria otimizacao.

Um achado adicional interessante, que os autores destacam como contraste notavel, e que nem toda estrategia de pruning segue esse padrao: Query-based Compression, uma abordagem especifica de pruning, mostra o efeito oposto -- pruning extremo (removendo ate 99,8% dos tokens visuais) na verdade melhora a seguranca do modelo de forma inesperada, em vez de degrada-la. Isso sugere que o problema nao e o pruning em si, mas a forma especifica como diferentes estrategias decidem quais tokens remover e como isso interage com a distribuicao de atencao do modelo -- uma nuance relevante para quem escolhe qual tecnica de pruning adotar em producao, ja que a escolha aparentemente neutra de otimizacao de performance tem consequencias de seguranca que variam por metodo.

A defesa proposta, Safety-Aware Pruning (SAP), e desenhada para ser aplicada em tempo de inferencia e de forma plug-and-play, sem exigir retreinamento: primeiro identifica quais tokens remanescentes funcionam como ancoras maliciosas, depois restaura tokens benignos que haviam sido removidos pelo pruning original, e por fim realoca o excesso de atencao que estava concentrado nas ancoras maliciosas de volta para os tokens benignos restaurados. Em experimentos cobrindo tres benchmarks de seguranca e quatro de utilidade, o SAP reduziu a taxa de sucesso de ataque em ate 62% sem comprometer a eficiencia (o ganho de velocidade do pruning original e preservado) nem a utilidade do modelo em tarefas legitimas -- um resultado relevante para equipes que precisam decidir se adotam token pruning em producao sem abrir uma nova classe de vulnerabilidade de jailbreak como efeito colateral nao examinado da otimizacao de performance.