tema

#vision-language-model

2 publicações marcadas com esta tag.

panoramaOS-2026-632 · 2026-10-08

WebMirage sequestra agentes web de visao-linguagem com perturbacoes visuais localizadas, atingindo 91,9% de sucesso contra 13 sites reais

Pesquisadores apresentaram o WebMirage, um framework de ataque end-to-end que crafta perturbacoes visuais localizadas em paginas web para fazer agentes baseados em modelos de visao-linguagem selecionarem conteudo controlado pelo atacante e executarem a acao de navegador correspondente, cobrindo todo o caminho desde o reconhecimento visual (grounding) ate a execucao real no navegador. Em 2.250 tarefas sobre 13 sites publicos e um ambiente sandbox, com quatro configuracoes de agente e seis modelos de visao-linguagem distintos, o ataque atingiu taxa media de sucesso de 91,9%, contra apenas 17,4% do melhor baseline anterior, e permaneceu eficaz contra tres defesas de nivel de agente testadas.

#artigo-cientifico #web-agents #adversarial-images #vision-language-model #red-teaming #browser-security

Fonte ↗

panoramaOS-2026-638 · 2026-10-08

Modelos de visao-linguagem-acao herdam vulnerabilidades adversariais de seus modelos de visao-linguagem ancestrais, mesmo em ataque black-box

Pesquisadores demonstraram que e possivel atacar modelos de Visao-Linguagem-Acao (VLAs) usados em robotica -- sistemas que convertem percepcao visual e instrucoes em acoes fisicas -- tendo acesso apenas ao modelo de visao-linguagem (VLM) publico do qual o VLA foi derivado, sem qualquer acesso ao VLA implantado em si. Patches adversariais otimizados sobre o VLM ancestral causaram degradacao substancial na taxa de sucesso de tarefas em diferentes familias de VLA, tanto em simulacao quanto em imagens estaticas do mundo real, revelando que a adaptacao de um VLM para controle robotico nao elimina automaticamente as fragilidades adversariais herdadas da base visual-linguistica.

#artigo-cientifico #vla #adversarial-patch #robotica #black-box-attack #vision-language-model

Fonte ↗