APKs clonados enganam agentes móveis de IA em até 78% dos casos sem que o usuário humano perceba nada

A premissa de supervisão humana sobre agentes móveis de IA -- aplicativos que interagem autonomamente com telas em nome do usuário -- é que a pessoa e o agente enxergam a mesma interface e, portanto, o usuário consegue perceber e corrigir uma ação indevida. O artigo demonstra que essa premissa é falsa na prática: humanos percebem a tela através de um display físico e do sistema visual humano, sujeito a limitações de contraste e oclusão, enquanto o agente processa a mesma tela via screenshot digital, que preserva informação que o olho humano não capta, somada a metadados de acessibilidade (rótulos, hierarquia de widgets) que também não são visíveis ao usuário. Os autores chamam esse descompasso de "human-agent UI desynchronization".

A técnica de ataque consiste em pegar um APK legítimo, reempacotá-lo com pequenas perturbações visuais embutidas antes da distribuição -- por exemplo, elementos quase invisíveis ao olho humano em regiões de baixo contraste, ou metadados de acessibilidade levemente alterados -- de forma que a experiência visual e funcional para o usuário humano permaneça idêntica ao app original, mas o agente, ao interpretar o screenshot e os metadados, seja conduzido a tocar em botões ou seguir fluxos diferentes dos pretendidos pelo usuário. O ataque não precisa de acesso às instruções do usuário em tempo real, não depende de detectar que um agente está em uso, e não requer adaptação online durante o ataque -- tudo é preparado estaticamente antes da distribuição do app.

Os autores construíram um framework automatizado para gerar esses APKs desincronizados de forma independente da instrução específica do usuário, e avaliaram o ataque estática e dinamicamente em cinco frameworks de agente móvel diferentes e três modelos de base, cobrindo 546 tarefas em várias aplicações. As taxas médias de enganação -- 77,9% em avaliação estática e 66,9% quando o agente realmente executa a tarefa no dispositivo -- indicam que o ataque não é um caso de laboratório isolado, mas generaliza bem através de arquiteturas de agente distintas. Um estudo complementar com 186 participantes humanos confirmou que as perturbações usadas são difíceis de notar mesmo quando as pessoas são instruídas a procurar por algo suspeito.

Isso é particularmente sério porque agentes móveis de IA já são promovidos para automatizar tarefas sensíveis como compras, transferências bancárias e preenchimento de formulários -- exatamente o tipo de ação onde um redirecionamento sutil (por exemplo, mudar o destinatário de um pagamento ou o valor de uma transação) causa dano real e é a última coisa que o usuário vai notar, já que ele confia que está vendo o mesmo que o agente. Um app reempacotado distribuído fora das lojas oficiais (ou mesmo infiltrado nelas) já seria suficiente como vetor de distribuição, sem precisar comprometer o dispositivo ou o agente em si.