Modelos de visao-linguagem-acao herdam vulnerabilidades adversariais de seus modelos de visao-linguagem ancestrais, mesmo em ataque black-box
Pesquisadores demonstraram que e possivel atacar modelos de Visao-Linguagem-Acao (VLAs) usados em robotica -- sistemas que convertem percepcao visual e instrucoes em acoes fisicas -- tendo acesso apenas ao modelo de visao-linguagem (VLM) publico do qual o VLA foi derivado, sem qualquer acesso ao VLA implantado em si. Patches adversariais otimizados sobre o VLM ancestral causaram degradacao substancial na taxa de sucesso de tarefas em diferentes familias de VLA, tanto em simulacao quanto em imagens estaticas do mundo real, revelando que a adaptacao de um VLM para controle robotico nao elimina automaticamente as fragilidades adversariais herdadas da base visual-linguistica.
Fonte ↗