WebMirage sequestra agentes web de visao-linguagem com perturbacoes visuais localizadas, atingindo 91,9% de sucesso contra 13 sites reais

Agentes web modernos construidos sobre modelos de visao-linguagem funcionam processando a renderizacao visual de uma pagina, decidindo qual elemento de interface clicar ou preencher, e traduzindo essa decisao em uma acao real de navegador (clique, digitacao, navegacao). Trabalhos anteriores de red-teaming visual contra esses agentes focaram majoritariamente em manipular a etapa de inferencia do modelo -- fazer o modelo 'pensar' que um elemento malicioso e o correto -- mas, segundo os autores, essa abordagem ignora duas etapas intermediarias criticas: o processamento estruturado da entrada (como a pagina e decomposta em elementos candidatos) e o pos-processamento da acao (como a decisao do modelo e traduzida em um comando de navegador especifico). Sucesso apenas a nivel de modelo, portanto, nao garante que o atacante de fato controle o que acontece no navegador, e os autores argumentam que essa lacuna metodologica impede uma avaliacao confiavel da robustez real de agentes web ponta a ponta.

A solucao do WebMirage e reformular o problema de red-teaming como um unico problema de grounding-to-execution, cobrindo a cadeia completa. A ferramenta usa uma 'abstracao de slots e papeis' para modelar como diferentes elementos da pagina competem entre si pela atencao e selecao do agente, combinada com uma tecnica de 'recomposicao de pagina web' que permite testar a perturbacao adversarial sob variacoes de renderizacao (diferentes resolucoes, layouts dinamicos, etc.), evitando que o ataque funcione apenas em uma captura de tela especifica. Alem disso, o framework usa analise de fluxo de dados (dataflow analysis) para garantir que a otimizacao da perturbacao visual esteja alinhada com a logica real de pos-processamento de acoes do agente -- ou seja, nao basta enganar o modelo a 'escolher' o elemento malicioso, a perturbacao precisa ser projetada sabendo como essa escolha sera convertida em coordenadas de clique ou comandos reais de navegador.

Os numeros de avaliacao sao expressivos tanto em escala quanto em efetividade: 2.250 tarefas cobrindo 13 sites publicos reais e um ambiente sandbox controlado, testadas contra quatro configuracoes diferentes de agente e seis modelos de visao-linguagem distintos como backbone. A taxa media de sucesso de 91,9% contra apenas 17,4% do melhor baseline anterior representa um salto de mais de 5x em efetividade, o que sugere que modelar explicitamente as etapas de processamento estruturado e pos-processamento de acao -- em vez de atacar apenas a inferencia do modelo -- e o fator determinante para ataques visuais contra agentes web realmente funcionarem em condicoes realistas. O fato de o ataque permanecer eficaz contra tres defesas de nivel de agente ja existentes reforca que defesas atuais, provavelmente desenhadas pensando em manipulacao de inferencia pura, nao cobrem adequadamente esse vetor end-to-end.

Para quem constroi ou avalia agentes web em producao, o resultado mais importante e o metodologico: avaliar a seguranca de um agente web apenas observando se o modelo 'errou' a decisao correta subestima drasticamente o risco real, porque o atacante precisa (e, segundo este trabalho, consegue com alta taxa de sucesso) controlar tambem a execucao final no navegador. Com o codigo do WebMirage disponibilizado publicamente, times de seguranca que operam agentes de navegacao web tem agora uma ferramenta concreta para testar essa classe de vulnerabilidade de ponta a ponta antes de expor esses agentes a conteudo nao confiavel da web real.