Benchmark mostra agentes de química e materiais liberando protocolos perigosos sob ataques de múltiplos turnos
O ChemMat-AgentSafetyBench testa se agentes de IA especializados em química e ciência de materiais podem ser manipulados, ao longo de fluxos de trabalho inteiros e não apenas em uma pergunta isolada, para revelar protocolos de síntese perigosos. Em experimentos com quatro modelos, os agentes liberaram procedimentos completos de risco em até 26,5% das execuções, e mesmo defesas dedicadas deixaram taxas de liberação entre 9,2% e 22,5%.
Agentes de IA para química e ciência de materiais já integram recuperação de literatura, geração de candidatos, previsão de propriedades e planejamento de protocolos em fluxos de descoberta contínuos e mediados por ferramentas. Os autores do ChemMat-AgentSafetyBench argumentam que isso muda a pergunta de segurança relevante: não é mais "o modelo responde a uma pergunta perigosa", mas "o agente libera um protocolo perigoso ao longo de uma sequência de ações aparentemente inofensivas". O benchmark cobre 432 especificações fixas de casos nocivos em oito classes de risco, três moldes de cenário e quatro ambientes de ferramentas e memória.
Tecnicamente, o trabalho testa cinco ataques de horizonte longo, executados em tempo real contra a trajetória do agente: intent hijacking (sequestro do objetivo declarado), tool chaining (encadeamento de chamadas de ferramenta para contornar checagens pontuais), objective drifting (deriva gradual do objetivo ao longo da conversa), task injection (injeção de subtarefas) e memory poisoning (envenenamento da memória persistente do agente). Diferente de um ataque de uma única pergunta, essas técnicas exploram justamente a arquitetura agêntica: múltiplas entradas (usuário, observações de ferramentas, memória) que se acumulam até produzir um artefato final perigoso, sem que nenhum passo isolado pareça obviamente malicioso.
Os números são expressivos: com um atacante fixo, os agentes liberaram procedimentos completos de síntese ou preparação perigosa em 25,6% das execuções; variando o modelo atacante, a taxa de sucesso ficou entre 18,4% e 26,5%, o que indica que o risco não é um artefato de um único atacante específico, mas uma propriedade estrutural desse tipo de agente. Defesas adaptadas de segurança geral de agentes, além de checagens de candidatos desenhadas especificamente para química e materiais, reduziram parte das falhas, mas ainda deixaram taxas de liberação completa entre 9,2% e 22,5%, evidenciando que nenhuma defesa testada cobre simultaneamente contaminação por múltiplas entradas, estado da ferramenta e o limite do artefato final.
O resultado importa porque agentes científicos especializados estão sendo adotados rapidamente para acelerar descoberta de materiais e fármacos, exatamente o tipo de aplicação em que um protocolo perigoso liberado por engano tem consequência física real, não apenas textual. O artigo documenta um descompasso concreto entre a velocidade de implantação desses agentes e a maturidade das avaliações e defesas de segurança disponíveis para a comunidade de química e materiais, reforçando que moderação de conteúdo perigoso pensada para modelos de chat single-turn não se transfere automaticamente para agentes com ferramentas e memória persistente.