WebMirage sequestra agentes web de visao-linguagem com perturbacoes visuais localizadas, atingindo 91,9% de sucesso contra 13 sites reais
Pesquisadores apresentaram o WebMirage, um framework de ataque end-to-end que crafta perturbacoes visuais localizadas em paginas web para fazer agentes baseados em modelos de visao-linguagem selecionarem conteudo controlado pelo atacante e executarem a acao de navegador correspondente, cobrindo todo o caminho desde o reconhecimento visual (grounding) ate a execucao real no navegador. Em 2.250 tarefas sobre 13 sites publicos e um ambiente sandbox, com quatro configuracoes de agente e seis modelos de visao-linguagem distintos, o ataque atingiu taxa media de sucesso de 91,9%, contra apenas 17,4% do melhor baseline anterior, e permaneceu eficaz contra tres defesas de nivel de agente testadas.
Fonte ↗