Levantamento mapeia ataques que forçam Vision Transformers a gastar computação extra sem reduzir a acurácia
Um survey unifica duas famílias de ataque, SlowFormer e DeSparsify, que miram otimizações de inferência adaptativa ao input em Vision Transformers, como poda de tokens e parada antecipada, usadas para economizar energia e latência em dispositivos com recursos limitados. Em vez de tentar enganar a classificação, esses ataques forçam o modelo a processar mais tokens e mais etapas do que deveria, anulando parcial ou totalmente o ganho de eficiência que a arquitetura foi desenhada para oferecer.
O artigo compara SlowFormer, um patch adversarial universal aplicável a qualquer imagem, e DeSparsify, perturbações calculadas por imagem, contra três frameworks populares de poda de tokens: A-ViT, ATS e AdaViT. Ambos os ataques miram o mesmo alvo conceitual: mecanismos de inferência adaptativa ao input, nos quais o modelo decide dinamicamente quantos tokens processar ou quando parar de computar, com base na dificuldade percebida de cada entrada.
O mecanismo é sutil porque não ataca a saída do modelo, e sim o custo de produzi-la: uma imagem manipulada continua sendo classificada corretamente na maioria dos casos, mas force o modelo a manter ativos tokens e caminhos de computação que ele normalmente descartaria cedo, subvertendo exatamente a lógica de poda que economiza GFLOPs. Isso torna o ataque quase invisível para qualquer monitoramento baseado em acurácia, já que o comportamento observável do modelo — a resposta certa — permanece igual; o que muda é o consumo de recursos por trás dessa resposta.
Na prática, esse tipo de ataque é uma forma de negação de serviço ou de drenagem de bateria disfarçada de entrada legítima, e é especialmente relevante porque a inferência adaptativa ao input é adotada justamente em cenários onde o orçamento de energia e latência é apertado: dispositivos móveis, embarcados e de borda. Um atacante capaz de inserir imagens adversariais nesse pipeline — por exemplo, em um sistema de visão computacional que processa uploads de usuários ou frames de câmera — pode elevar significativamente o consumo computacional e a latência sem que nenhum alarme de acurácia dispare.
O survey nota que as defesas atuais contra essa classe específica de ataque ainda são escassas, e que qualquer contramedida precisa ser leve o suficiente para rodar nos mesmos dispositivos de baixo poder que a própria otimização atacada foi criada para atender — uma restrição que torna a defesa tecnicamente mais difícil do que a de ataques adversariais tradicionais voltados à acurácia.