CryptanalysisBench: modelos de fronteira já quebram até 86% de cifras com ataques práticos conhecidos e encontram falha inédita em cifra candidata do NIST
Um novo benchmark com 191 tarefas de criptoanálise, extraídas de quatro competições de padronização do NIST, testou cinco modelos de fronteira (Claude Opus 4.8, Sonnet 5, Mythos 5, GPT-5.5 e o modelo de peso aberto GLM-5.2) e descobriu que eles resolvem entre 65% e 86% dos esquemas com quebras práticas já conhecidas. Mais notável: os modelos produziram criptoanálise inédita, incluindo um ataque de recuperação de chave que explora uma falha de design no AEAD SpoC e um erro na prova de segurança CCA publicada do KINDI, nenhum dos dois documentado anteriormente.
O CryptanalysisBench organiza suas 191 tarefas em três níveis: primitivas com quebras práticas já conhecidas na literatura, primitivas sem quebra prática conhecida (avaliadas tanto na força total quanto em variantes reduzidas) e um conjunto desafio com primitivas de produção na fronteira da criptoanálise atual. Essa estrutura em camadas permite distinguir se um modelo está apenas reproduzindo ataques de livro-texto ou efetivamente produzindo análise nova.
Os resultados numéricos já são relevantes por si: 65% a 86% de sucesso no Tier 1 (esquemas com quebra conhecida), de 6 a 12 esquemas quebrados no Tier 2 em força total, e de 24 a 61 nas variantes reduzidas do Tier 2, dependendo do modelo. Mas o dado mais importante do artigo são as duas descobertas genuinamente novas: um ataque de recuperação de chave que explora uma falha de design no AEAD SpoC, e um erro na prova de segurança CCA publicada do KINDI, ambos não documentados antes deste trabalho.
Criptoanálise é um domínio particularmente propício para progresso rápido de modelos de linguagem porque o resultado de um ataque é verificável automaticamente: ou a chave é recuperada, ou a tag é forjada, ou não é. Isso remove boa parte da ambiguidade que atrapalha medir progresso em outras tarefas de raciocínio, e explica por que os autores enquadram o benchmark como uma ferramenta para acompanhar "se, e quando" a criptoanálise assistida por IA se torna um fator sério de risco, e não apenas uma curiosidade acadêmica.
Para quem projeta ou avalia primitivas criptográficas, o benchmark já surgindo com duas descobertas inéditas contra candidatos do próprio processo de padronização do NIST é um sinal prático concreto: faz sentido começar a rodar criptoanálise com modelos de fronteira contra esquemas novos antes da padronização, como parte do processo de validação, e não apenas depois que a primitiva já está implantada em produção.