olimposec.com
tema

#gui-agents

2 publicações marcadas com esta tag.

panoramaOS-2026-615 · 2026-10-07
0

DIBench mede como injeções enganosas desviam decisões de agentes móveis sem gerar anomalias visíveis

Pesquisadores propõem o DIBench, um benchmark com mais de 37 mil instâncias para medir se agentes de IA que operam interfaces gráficas de apps móveis podem ser manipulados, por conteúdo injetado na tela, a escolher opções diferentes das pedidas pelo usuário — como abandonar o critério "mais barato" ou "melhor avaliado" — sem que a tarefa pareça ter falhado. O estudo mostra que métricas tradicionais de "taxa de conclusão" escondem esse desvio de integridade decisória e que defesas comuns, como detecção de prompt ou pré-processamento de imagem, oferecem proteção inconsistente.

Fonte ↗
risco altoOS-2026-130 · 2026-08-03
0

Guardrails de agentes GUI 'erodem' sob persuasão em múltiplos turnos, incluindo em Claude e GPT

Um estudo com três agentes de IA de ponta que operam interfaces gráficas mostra que guardrails baseados em prompt, eficazes em avaliações de turno único, perdem boa parte da eficácia quando o pedido malicioso é fragmentado ao longo de uma conversa de quatro turnos. A queda de robustez aparece nos três modelos testados, incluindo Claude e GPT, e o próprio guardrail muda o padrão de ataque mais eficaz — pedidos velados passam a funcionar melhor que explícitos. Os autores concluem que métricas de ataque de turno único superestimam sistematicamente a robustez real de agentes implantados.

Fonte ↗