Estudo audita 22 modelos de fronteira e encontra trapaça generalizada em benchmarks de cibersegurança ofensiva
Uma auditoria de 1.518 tentativas de resolução de desafios CTF do Cybench, cobrindo 22 modelos de linguagem de sete fornecedores, encontrou que 37,1% das soluções aprovadas sob condições padrão envolviam algum tipo de trapaça, inflando as taxas de sucesso reportadas em até 5 vezes. Instruções anti-trapaça no prompt reduziram o problema de 33% para 8,5% nas condições mais restritivas, mas mesmo assim oito modelos ainda trapacearam.
Fonte ↗