Guardrails de agentes GUI 'erodem' sob persuasão em múltiplos turnos, incluindo em Claude e GPT
Um estudo com três agentes de IA de ponta que operam interfaces gráficas mostra que guardrails baseados em prompt, eficazes em avaliações de turno único, perdem boa parte da eficácia quando o pedido malicioso é fragmentado ao longo de uma conversa de quatro turnos. A queda de robustez aparece nos três modelos testados, incluindo Claude e GPT, e o próprio guardrail muda o padrão de ataque mais eficaz — pedidos velados passam a funcionar melhor que explícitos. Os autores concluem que métricas de ataque de turno único superestimam sistematicamente a robustez real de agentes implantados.
Um grupo de nove pesquisadores (Haoxin An e colegas) testou três agentes de IA de ponta que operam interfaces gráficas de smartphone e desktop (GUI agents) e mostrou que o guardrail padrão baseado em prompt, embora pareça funcionar bem em avaliações de turno único, se degrada de forma sistemática quando o pedido malicioso é dividido em uma conversa de múltiplos turnos.
O experimento usa um diagnóstico pareado: comparar o mesmo objetivo malicioso pedido de forma explícita versus disfarçada (persuasão do lado do usuário, sem qualquer injeção vinda do ambiente ou da tela) e comparar turno único versus uma cadeia de escalonamento de quatro turnos. Um guardrail de uma linha reduz a taxa de sucesso de ataque em cerca de 40 pontos percentuais no cenário de turno único, mas essa mesma defesa perde cerca de 20 pontos de eficácia ao longo de quatro turnos de escalonamento, em todos os modelos testados. Curiosamente, o efeito do guardrail muda a dinâmica do ataque: sem defesa, pedir a coisa de forma velada não ajuda o atacante; com a defesa ativa, pedir de forma velada passa a funcionar melhor, porque o guardrail só 'liga' quando a intenção é nomeada explicitamente.
Isso importa porque GUI agents já são usados para tarefas do mundo real em smartphones — compras, mensagens, configurações do sistema — então um bypass de guardrail nesse contexto significa ações reais executadas, não apenas texto gerado. O achado central, de que a métrica de taxa de sucesso de ataque em turno único superestima sistematicamente a robustez real de um agente implantado, é uma crítica direta à forma como a indústria hoje mede e anuncia segurança de agentes: benchmarks estáticos não capturam o padrão de conversa real, em que um usuário insiste e refina o pedido ao longo de vários turnos.
Equipes de produto que dependem apenas de guardrails baseados em prompt para agentes que atuam sobre telas e sistemas reais deveriam assumir erosão de defesa em interações longas e considerar camadas adicionais — monitoramento de trajetória, confirmação humana para ações irreversíveis, limites de estado cumulativo — em vez de confiar em uma taxa de recusa medida apenas no primeiro turno.