Novo benchmark mede se sistemas de monitoramento detectam o momento exato em que um agente de IA se torna prejudicial
Pesquisadores propõem um benchmark unificado com cerca de 6.200 transcrições de conversas para avaliar monitores que supervisionam agentes de IA contra dois tipos de ameaça — ataques de decomposição (pedido nocivo dividido em partes inócuas) e injeção de prompt — medindo não só se o monitor detecta o dano, mas se detecta dentro da janela correta em que o dano realmente ocorre. O estudo mostra que monitores que avaliam o conteúdo das respostas falham quase completamente contra injeção de prompt (AUC de 0,52, equivalente a adivinhar), enquanto monitores que avaliam as ações externalizadas do agente se saem bem nos dois tipos de ameaça (AUC de 0,95 e 0,99).
Agentes de IA que operam em ambientes com múltiplos atores — usuários, outros agentes, ferramentas e ambientes externos — estão expostos a formas de uso indevido que avaliações tradicionais de 'a trajetória foi prejudicial ou não' não capturam bem. Os autores (Aniruddh Pramod, James Oldfield e Adel Bibi) identificam duas ameaças centrais: ataques de decomposição, em que um pedido claramente nocivo é fatiado em sub-pedidos individualmente inócuos para escapar de filtros de intenção, e injeção de prompt, em que uma ferramenta comprometida entrega instrução maliciosa embutida em seu retorno. A contribuição central do paper é reformular a pergunta de 'o agente foi prejudicial?' para 'em que ponto exato da trajetória o dano se tornou real?', introduzindo o conceito de 'janela de dano' — do primeiro comprometimento do agente até a execução do objetivo nocivo.
Para isso, os autores construíram um benchmark de aproximadamente 6.200 transcrições de conversas entre usuário, agente e ambiente externo, cobrindo ambas as ameaças sob um esquema compartilhado, com janelas de dano rotuladas manualmente, controles benignos correspondentes e instâncias de recusa pareadas (o agente recusou corretamente o mesmo pedido). Com isso, testaram 17 configurações distintas de monitor, divididas essencialmente em duas famílias: monitores 'orientados a conteúdo' (que avaliam o texto das respostas do agente) e monitores 'orientados a ação' (que avaliam as ações externalizadas e seus efeitos no ambiente).
O resultado mais contundente é a diferença de desempenho entre essas duas famílias especificamente contra injeção de prompt: monitores orientados a ação atingem AUC de 0,99, enquanto monitores orientados a conteúdo colapsam para AUC de 0,52 — estatisticamente quase equivalente a um classificador aleatório. Isso acontece porque, numa injeção de prompt, o texto da resposta do agente pode parecer perfeitamente normal (o agente 'acha' que está seguindo uma instrução legítima); é só observando a ação concreta tomada no ambiente que a anomalia se revela. Além disso, os autores mostram que métricas clássicas 'cegas à posição' (que só checam se o monitor detectou o dano em algum ponto da trajetória, sem avaliar quando) pintam um quadro artificialmente otimista: usando a métrica de intervalo, que exige localizar precisamente a janela de dano, todos os monitores testados localizam mal os ataques de decomposição, mesmo os que pontuam bem nas métricas tradicionais.
Na prática, esse resultado é um alerta direto para quem constrói sistemas de guarda (guardrails) de agentes baseados apenas em analisar o texto gerado pelo modelo: contra injeção de prompt especificamente, esse tipo de monitor é quase inútil, e a defesa precisa necessariamente observar e avaliar as ações e efeitos externos do agente, não só sua saída textual. O código do benchmark está disponível publicamente, permitindo que equipes testem seus próprios monitores de produção contra esse conjunto de transcrições antes de confiar neles em ambientes reais com múltiplos atores.