Confiança de modelos de visão-linguagem se mostra manipulável mesmo sem alterar a resposta gerada
Um estudo com quatro modelos de visão-linguagem, três benchmarks de VQA e cinco canais de confiança mostra que atacantes em caixa-branca conseguem manipular o escore de confiança reportado por um modelo sem alterar a resposta final gerada, byte a byte. Em uma simulação com bloqueio por confiança, um ataque coordenado transferido para um mecanismo de corte baseado em estado oculto fez até 84,8% das respostas incorretas antes rejeitadas passarem a ser aceitas, levando os autores a concluir que confiança é um sinal 'sensível à integridade' e não robusto por natureza.
O trabalho, de Reza Khanmohammadi, Ivan Brugere, Simerjot Kaur, Charese H. Smiley, Kundan Thind e Mohammad M. Ghassemi, ataca um pressuposto comum em sistemas que usam modelos de visão-linguagem em produção: que a confiança reportada pelo modelo é um sinal minimamente confiável para decidir quando aceitar automaticamente uma resposta e quando escalar para revisão humana. Os autores definem um cenário de ataque em caixa-branca, restrito a perturbações na imagem de entrada, sob a restrição adicional de que a resposta textual gerada pelo modelo precisa permanecer idêntica, byte a byte, à resposta original.
A metodologia testa quatro modelos de visão-linguagem, três benchmarks de VQA, cinco canais de confiança já usados em sistemas reais e dois estimadores de defesa, cobrindo 84 combinações de estimador e configuração. Em todas as 84, ataques diretos ou por substituto (surrogate) conseguiram violar o certificado teórico que garantiria um piso mínimo de discriminação adversarial. Os pesquisadores também mostram, via intervenções em estados ocultos e replicação no espaço de ativação de um modelo de texto aberto, que essa manipulação de confiança pode ser induzida diretamente na representação interna do modelo, não só através de imagens adversariais cuidadosamente construídas.
Isso importa na prática porque muitos pipelines de produção usam confiança do modelo exatamente como um mecanismo de supervisão: 'se a confiança for baixa, peça revisão humana' ou 'rejeite automaticamente respostas de baixa confiança'. O experimento de simulação com gating por confiança mostra o tamanho do problema — um ataque coordenado, ao ser transferido para um gate baseado em estado oculto, fez até 84,8% das respostas incorretas anteriormente rejeitadas serem aceitas, e nenhuma das quatro famílias de defesa testadas se mostrou robusta sob a avaliação aplicada.
A conclusão prática para quem constrói esse tipo de sistema é direta: tratar 'o modelo disse X com confiança Y' como um controle de segurança ou de supervisão humana equivale a confiar em um sinal que este estudo mostra ser manipulável sem sequer precisar mudar a resposta errada que se quer filtrar. Isso é especialmente relevante para aplicações que usam gating por confiança como camada de segurança em domínios sensíveis (moderação de conteúdo, triagem, agentes autônomos decidindo quando pedir ajuda humana), onde a falsa sensação de que 'baixa confiança == resposta suspeita' pode ser explorada por um atacante que já controla a entrada.