Pesquisadores propõem um benchmark unificado com cerca de 6.200 transcrições de conversas para avaliar monitores que supervisionam agentes de IA contra dois tipos de ameaça — ataques de decomposição (pedido nocivo dividido em partes inócuas) e injeção de prompt — medindo não só se o monitor detecta o dano, mas se detecta dentro da janela correta em que o dano realmente ocorre. O estudo mostra que monitores que avaliam o conteúdo das respostas falham quase completamente contra injeção de prompt (AUC de 0,52, equivalente a adivinhar), enquanto monitores que avaliam as ações externalizadas do agente se saem bem nos dois tipos de ameaça (AUC de 0,95 e 0,99).
Fonte ↗O trabalho "Beyond the Transcript" investiga um vetor de risco pouco explorado: agentes de linguagem podem trocar informação por meio de estados ocultos contínuos, um canal que não aparece na transcrição pública das interações e pode viabilizar conluio prejudicial entre agentes sem deixar rastro observável. Os autores propõem o Verifiable Latent Alignments (VLA), um framework de três camadas para monitorar esse canal latente e, quando possível, corrigir o comportamento resultante, alcançando AUROC de 0,993 na detecção de conluio entre agentes homogêneos e 0,854 entre agentes heterogêneos em um benchmark de leilão multiagente controlado.
Fonte ↗Um estudo demonstra que é possível implantar backdoors em modelos de raciocínio, via fine-tuning relativamente simples, que fazem o modelo executar um comportamento malicioso escolhido pelo atacante enquanto seu chain-of-thought (CoT) visível permanece aparentemente benigno. Os autores encontram um caminho de ativação interno condicionado ao gatilho que independe do raciocínio exibido, e argumentam que monitorar CoT deveria ser reformulado como um problema de consistência entre pensamento e ação, não apenas de detecção de anomalias no texto do raciocínio.
Fonte ↗