Fair-ASR reavalia jailbreaks de LLM sob orçamento igual de tentativas e expõe ataque barato com 85% de sucesso no GPT-5

Pesquisadores (Zhida He, Xiaoyu Wen, Han Qi, Ziyuan Zhou, Peng Yu, Jiajia Li, Chaochao Lu, Qiaosheng Zhang) argumentam que a maior parte da literatura de avaliação de jailbreak reporta apenas a taxa bruta de sucesso do ataque (ASR), sem controlar quantas consultas ou recursos ('orçamento') o ataque gastou para chegar lá, tornando comparações entre métodos diferentes injustas e potencialmente enganosas; avaliações anteriores que tentam considerar o custo computacional normalizam por FLOPs, algo difícil de estimar para modelos de caixa-preta e que ignora restrições específicas de recurso, como limites de taxa e custo por chamada.

A proposta técnica, Fair-ASR, é um protocolo de avaliação que compara ataques de jailbreak de caixa-preta sob um orçamento compartilhado de chamadas ao modelo alvo (B), usando o número de chamadas ao alvo como eixo de comparação diretamente observável e independente de método, ao mesmo tempo em que rastreia separadamente as chamadas do próprio modelo atacante, um eixo de eficiência à parte. Reavaliando 11 métodos de jailbreak representativos da literatura sob esse protocolo, os autores descobrem que o ranking de eficácia dos ataques muda substancialmente conforme o orçamento de consultas ao alvo, que perturbações estocásticas simples e templates manuais continuam altamente competitivos com métodos bem mais elaborados guiados por LLM sob acesso igual ao alvo, e que nenhum método guiado por LLM avaliado é eficiente simultaneamente nos dois eixos, chamadas ao alvo e chamadas do atacante.

Motivados por essa lacuna de eficiência, os autores criam o ReCode, um ataque composicional que combina reescrita de dessensibilização com duas primitivas de baixo custo identificadas como eficazes pela análise Fair-ASR. Sob um orçamento de apenas 20 chamadas ao modelo alvo, o ReCode atinge 85% de taxa de sucesso contra o GPT-5, usando em média apenas 7,19 chamadas do lado do atacante por requisição, uma combinação notavelmente barata e eficiente em consultas frente a métodos anteriores.

O trabalho tem duas implicações práticas distintas. Metodologicamente, é um alerta para quem lê artigos de defesa de jailbreak: um ataque ou defesa que parece estado da arte sob uma suposição arbitrária de orçamento pode estar apenas trocando eficiência por eficácia aparente, não robustez real, então números de ASR publicados sem contexto de orçamento devem ser tratados com ceticismo. Mais diretamente, uma taxa de sucesso de jailbreak de 85% contra o GPT-5, obtida com apenas 20 consultas ao modelo alvo, é uma capacidade ofensiva concreta e acionável na prática: um atacante não precisa de grande orçamento computacional nem de muitas tentativas para contornar de forma confiável o treinamento de segurança do GPT-5 com essa técnica, exatamente o tipo de ataque barato e de alto rendimento que importa para abuso no mundo real, como geração de conteúdo fraudulento ou spam, e não apenas para benchmarking acadêmico.