PriMobiBench expõe vazamento de dados sensíveis em agentes móveis guiados por modelos de visão e linguagem
Um novo benchmark chamado PriMobiBench mede o quanto agentes de GUI móvel baseados em modelos de visão e linguagem (VLMs) vazam informação privada ao interpretar screenshots de tela para automatizar tarefas em smartphones. Usando um dataset de 2.960 instâncias de privacidade embutidas em execuções reais de 16 apps, os autores mostram que VLMs conseguem extrair diretamente dados sensíveis com até 82,5% de sucesso e ainda inferir perfis de usuário a partir de evidência visual agregada com cerca de 70% de sucesso.
Agentes de GUI móvel funcionam observando capturas de tela sucessivas e decidindo em qual elemento tocar para completar uma tarefa, o que exige que o modelo de visão e linguagem "leia" tudo o que aparece na tela — não só o botão relevante, mas também mensagens, saldos bancários, nomes de contatos e qualquer outra informação incidental exposta na interface. O PriMobiBench formaliza esse risco criando um pipeline completo de geração de dados, construção de trajetórias de agente e avaliação multi-modelo, resultando no dataset MobiLeak, que cobre 25 atributos de privacidade diferentes distribuídos por instâncias reais de uso de aplicativos.
O resultado mais direto é o de vazamento explícito: em até 82,5% dos casos testados, o VLM consegue extrair e reportar informação sensível presente na tela mesmo quando essa informação não é necessária para completar a tarefa solicitada. Mas o achado mais sutil, e possivelmente mais difícil de mitigar, é o de profiling indireto — o modelo consegue inferir atributos sobre o usuário (hábitos, preferências, características pessoais) apenas agregando pistas visuais espalhadas por múltiplas capturas de tela ao longo de uma sessão, sem que nenhuma tela isolada contenha o dado inferido de forma explícita.
Os autores testam uma mitigação relativamente simples e de baixo custo: mascarar elementos de interface classificados como sensíveis, mas irrelevantes para a tarefa, antes de a captura de tela ser enviada para processamento em nuvem. Essa abordagem reduz o sucesso de profiling em até 58%, com uma perda de desempenho da tarefa de apenas cerca de 8%, o que sugere que boa parte do vazamento vem de informação desnecessária sendo exposta ao modelo por padrão, e não de uma limitação fundamental da arquitetura.
O caso de uso é cada vez mais comum — assistentes de IA que operam o celular do usuário autonomamente, geralmente processando telas em servidores de nuvem de terceiros — e esse trabalho mostra que a superfície de privacidade relevante não é só "o que o agente diz de volta ao usuário", mas também o que ele processa e potencialmente retém ou repassa ao provedor do modelo durante a execução, algo que produtos comerciais de automação móvel via IA ainda tratam de forma bastante permissiva.