Pesquisadores quebram defesa de jailbreak SAGE (99% de sucesso) combinando dois ataques fracos isoladamente
Um novo estudo mostra que a defesa self-check SAGE, que reporta 99% de sucesso contra jailbreaks, pode ser derrubada pela composição de dois ataques que sozinhos não superam 4,7% de eficácia. Combinados, eles atingem de 15% a 67% de sucesso em três modelos-alvo abertos, com o efeito persistindo até em um modelo de 70B parâmetros. A análise, baseada em 310 mil gerações avaliadas por um juiz validado por humanos, explica por que a defesa falha e não apenas relata o resultado.
SAGE é uma defesa de "self-check": em vez de um filtro externo analisar o pedido do usuário, o próprio modelo-alvo é instruído a avaliar se deve responder antes de gerar a resposta. Publicada como a instância mais forte desse tipo de defesa, ela reportava taxa média de sucesso de 99% contra tentativas de jailbreak, tornando-se referência de robustez nessa categoria.
Os autores mostram que essa robustez é ilusória quando dois ataques conhecidos são compostos: um encoding baseado em completude de código (o pedido malicioso é disfarçado como tarefa de completar código) e uma busca best-of-N (gerar múltiplas variações do ataque e escolher as que funcionam). Isoladamente, nenhum dos dois ultrapassa 4,7% de eficácia contra SAGE. Mas ao concentrar o orçamento de busca do best-of-N sobre o encoding de código, a taxa de sucesso sobe para 67%, 22% e 15% em três modelos abertos testados, efeito que persiste mesmo em um modelo de 70 bilhões de parâmetros.
O artigo explica o mecanismo por trás do resultado: uma defesa self-check "empresta força" do próprio modelo-alvo — ela não detecta o ataque de forma independente, apenas pede ao modelo que o faça. Os quatro modelos testados convertem esse pedido em recusa explícita entre 32% e 97% das vezes, e é justamente essa taxa que a busca best-of-N consegue explorar e reduzir. Outro achado relevante é que o tipo de defesa determina qual ataque sobrevive, e a relação se inverte conforme a categoria de defesa enfrentada (transformação de entrada versus bloqueio direto).
Isso é relevante na prática porque mostra que avaliar defesas contra ataques isolados pode dar uma falsa sensação de segurança: ataques individualmente fracos, quando combinados de forma inteligente, podem contornar defesas que pareciam quase perfeitas. A escolha de qual combinação usar deve considerar o tipo específico de defesa enfrentada, e os resultados se apoiam em 310 mil gerações avaliadas por um juiz humano-validado, reforçando a robustez metodológica da conclusão.