Modelos de visao-linguagem-acao herdam vulnerabilidades adversariais de seus modelos de visao-linguagem ancestrais, mesmo em ataque black-box

Modelos de Visao-Linguagem-Acao (VLAs) sao a classe emergente de sistemas que permitem a robos interpretar uma cena visual e uma instrucao em linguagem natural e converter isso diretamente em uma sequencia de acoes fisicas, sendo cada vez mais considerados para ambientes fisicos criticos de seguranca. A maioria dos ataques adversariais estudados anteriormente contra esses sistemas assume acesso de caixa-branca ao proprio VLA ou depende de modelos substitutos (surrogates) treinados especificamente para imitar o VLA alvo -- duas premissas que raramente se sustentam em um cenario de ataque realista, onde o VLA implantado em producao normalmente nao e publico nem facilmente replicavel por um atacante externo.

O insight central dos autores e observar que a grande maioria dos VLAs nao e treinada do zero: eles sao adaptados a partir de um modelo de visao-linguagem (VLM) pre-treinado e publicamente disponivel, herdando dele duas capacidades essenciais para a geracao de acao -- percepcao visual (processar a cena) e fundamentacao condicionada por instrucao (grounding, ou seja, relacionar partes especificas da instrucao textual a regioes especificas da cena visual). Isso leva a pergunta central do trabalho: um atacante pode comprometer um VLA implantado tendo acesso apenas ao VLM ancestral publico, sem jamais interagir diretamente com o VLA real? Se a resposta for sim, isso representaria uma mudanca significativa no modelo de ameaca realista contra robos controlados por IA, porque o atacante nao precisaria de nenhum acesso privilegiado ao sistema robotico real.

Os autores propoem tres tecnicas de ataque diferentes, cada uma explorando uma capacidade herdada especifica: um ataque de disrupcao visual, que corrompe os tokens visuais projetados pelo VLM atraves de perturbacoes em termos relativos e absolutos; um ataque de supressao de evidencia semantica fundamentada em instrucao, que remove especificamente a evidencia visual necessaria para que conceitos mencionados na instrucao sejam localizados corretamente na cena; e um ataque conjunto que unifica os dois objetivos sob um curriculo de otimizacao em duas fases. Todos os tres sao instanciados como patches adversariais -- regioes visuais fisicamente plausiveis que poderiam, em principio, ser impressas e colocadas no ambiente real do robo, nao apenas perturbacoes digitais abstratas.

Os experimentos, cobrindo diferentes familias de VLA tanto em simulacao quanto em imagens estaticas do mundo real, mostram degradacao substancial na taxa de sucesso de tarefa quando o patch e otimizado apenas contra o VLM ancestral e depois aplicado ao VLA derivado -- confirmando a hipotese de heranca de vulnerabilidade. Os autores tambem caracterizam os limites desse efeito: ele e mais forte em tarefas que exigem localizacao precisa e condicionada por instrucao (exatamente a capacidade herdada diretamente do VLM), e praticamente desaparece em politicas cuja etapa de adaptacao reescreveu significativamente a representacao visual-semantica compartilhada, ou cuja cabeca de acao suaviza iterativamente as perturbacoes ao longo do processo de geracao de movimento. Esse mapeamento das condicoes de fronteira e o que torna o trabalho util na pratica: equipes que desenvolvem ou avaliam seguranca de VLAs tem agora um criterio concreto para saber quando a heranca de um VLM publico representa risco real de ataque com acesso minimo -- a saber, quando a etapa de fine-tuning para controle robotico preserva fortemente a representacao visual original do VLM base, em vez de reescreve-la substancialmente.