HarnessSafe avalia como riscos persistem e se propagam por memória, skills e ferramentas em harnesses de agentes de IA
O benchmark HarnessSafe reúne 328 casos executáveis distribuídos em sete famílias de 'carriers' persistentes (memória, skills, ferramentas, artefatos compartilhados) para avaliar como uma influência maliciosa introduzida uma única vez pode atravessar fronteiras de sistema e, mais tarde, afetar a execução de uma tarefa completamente benigna. Os resultados mostram que a contenção do risco é altamente específica a cada carrier e depende fortemente da combinação entre harness de agente e modelo usado, e que a taxa de sucesso do ataque isolada não revela em que estágio da cadeia o comprometimento foi de fato contido.
O artigo, de Xiao Zhang, Yusheng Wang, Yuhao Fei, Dongyuan Li, Zian Liang, Liuyu Xiang, Hongxun Gu e Zhaofeng He, nasce da constatação de que harnesses modernos de agente persistem estado entre tarefas e sessões através de mecanismos como memória, skills, ferramentas e artefatos compartilhados — e que essa persistência cria um risco de segurança adiado: conteúdo influenciado por um atacante pode atravessar fronteiras de sistema e só afetar a execução de uma requisição legítima muito depois, quando a origem daquele conteúdo já não é óbvia.
O benchmark propõe um modelo formal chamado 'Persistent-Risk Lifecycle', que mapeia a influência do atacante desde o ponto de entrada inicial, passando pela persistência através de diferentes carriers e fronteiras de sistema, até um gatilho posterior aparentemente benigno e uma violação observável. Em vez de reportar apenas uma taxa de sucesso de ataque agregada, a avaliação é multiestágio e baseada em rastreamento (trace-based), usando evidências de execução observáveis para determinar até onde cada cadeia de ataque progrediu e em que ponto exato ela foi efetivamente contida.
Isso importa na prática porque complementa diretamente o tipo de ameaça descrita por trabalhos como o SynChain: harnesses de agente com estado persistente entre tarefas — a arquitetura padrão cada vez mais comum em assistentes de codificação e agentes de uso de computador — criam uma categoria de risco distinta da injeção de prompt de turno único clássica. Um benchmark que pontua a contenção estágio a estágio, em vez de só um número agregado de taxa de sucesso, é bem mais acionável para quem constrói defesas, porque mostra exatamente em qual ponto do ciclo de vida a defesa de um harness específico falha.
A conclusão mais relevante para quem está avaliando produtos de agente é que a contenção depende fortemente da combinação específica entre harness e modelo usado, não sendo uma propriedade só do modelo subjacente — ou seja, não dá para assumir que um modelo 'seguro' implica automaticamente em uma implantação segura. O tratamento que o próprio harness dá à persistência de memória, skills e ferramentas precisa ser avaliado de forma independente, que é exatamente a lacuna que este benchmark tenta preencher.