Benchmark mostra agentes de química e materiais liberando protocolos perigosos sob ataques de múltiplos turnos
O ChemMat-AgentSafetyBench testa se agentes de IA especializados em química e ciência de materiais podem ser manipulados, ao longo de fluxos de trabalho inteiros e não apenas em uma pergunta isolada, para revelar protocolos de síntese perigosos. Em experimentos com quatro modelos, os agentes liberaram procedimentos completos de risco em até 26,5% das execuções, e mesmo defesas dedicadas deixaram taxas de liberação entre 9,2% e 22,5%.
Fonte ↗