Pesquisadores identificam e corrigem falha oculta em defesa certificada de Vision Transformers contra ataques adversariais

Defesas certificadas contra ataques adversariais oferecem algo que defesas empíricas não oferecem: uma garantia matemática de que, dentro de um raio de perturbação definido, a classificação do modelo não muda. A família PixelDP (privacidade diferencial aplicada a pixels) é uma das abordagens certificadas mais estabelecidas para redes convolucionais, mas o artigo nota uma lacuna de pesquisa relevante dado o domínio atual dos Vision Transformers em aplicações de visão computacional: ninguém havia verificado se essa construção realmente funciona quando aplicada à arquitetura de self-attention, tão diferente estruturalmente das convoluções para as quais o PixelDP foi originalmente desenhado.

O achado central é um modo de falha que fica escondido no cenário convolucional, mas se manifesta claramente em ViTs: quando o ruído de privacidade diferencial é injetado logo após o patch embedding (a etapa que transforma a imagem em uma sequência de tokens), o mecanismo de Laplace, que herda uma restrição de sensibilidade em norma l1 agrupada do contexto convolucional original, colapsa para acurácia de nível aleatório (chance) em praticamente todas as escalas de ruído testadas -- ou seja, o modelo certificado simplesmente para de funcionar como classificador. O mecanismo Gaussiano, em contraste, permanece treinável sob as mesmas condições, isolando que o problema não é o ruído em si, mas especificamente a geometria da restrição de sensibilidade l1 herdada.

Os autores caracterizam matematicamente essa falha: a atenuação de sinal induzida pela projeção de sensibilidade l1 aumenta com a largura da camada e o tamanho do kernel segundo uma escala de matriz aleatória proporcional a C/(√M + √N) -- ou seja, quanto maior e mais larga a camada (o padrão em ViTs modernos), pior fica o colapso. A correção proposta troca a restrição l1 por uma restrição de norma espectral, o que elimina o colapso de forma consistente entre datasets e arquiteturas testadas, mas cria um novo problema: os modelos corrigidos deixam de satisfazer a condição de sensibilidade exigida pelo certificado de Laplace padrão. Os autores resolvem esse descompasso derivando uma nova garantia de privacidade (ε, δ) livre de dependência de dimensão para o mecanismo de Laplace sob sensibilidade l2, usando concentração da perda de privacidade -- fechando o ciclo entre a correção prática e a prova formal que a sustenta.

Para quem trabalha com robustez certificada em produção, a relevância prática é dupla: primeiro, é um alerta de que transplantar diretamente uma técnica de defesa certificada validada em CNNs para uma arquitetura de Transformer não é seguro sem reexaminar as premissas geométricas subjacentes -- o mesmo mecanismo pode passar de “funcional” para “quebrado silenciosamente” (acurácia de chance, que num pipeline automatizado pode passar despercebida se não houver monitoramento ativo de acurácia). Segundo, a correção proposta (norma espectral) e sua nova prova de privacidade dão aos times que precisam de garantias formais de robustez em ViTs um caminho concreto para obter essa garantia sem o colapso identificado, algo que antes deste trabalho não estava disponível para essa arquitetura.