Pruning de tokens visuais pode amplificar jailbreaks em VLMs ao concentrar atencao em ancoras maliciosas, mas defesa em tempo de inferencia reduz ataque em 62%
Pesquisadores identificaram que tecnicas de token pruning -- usadas para acelerar modelos de visao-linguagem removendo tokens visuais redundantes -- podem degradar significativamente a seguranca do modelo conforme a taxa de pruning aumenta, atraves de um mecanismo chamado Pruning-Induced Malicious Amplification, no qual a remocao de tokens de fundo forca a atencao do modelo a colapsar sobre poucas ancoras maliciosas remanescentes no primeiro plano, amplificando sua semantica toxica sob jailbreak. A defesa proposta, Safety-Aware Pruning, reduz a taxa de sucesso de ataque em ate 62% sem sacrificar a aceleracao nem a utilidade do modelo.
Fonte ↗