Pesquisadores da UC Santa Cruz quebram seis LLMs de peso aberto injetando ruído aleatório nos embeddings do prompt

Praticamente todas as famílias conhecidas de jailbreak contra modelos abertos dependem de algum tipo de otimização direcionada: computar gradientes para encontrar o sufixo adversarial ideal, rodar buscas iterativas guiadas por uma função de perda, ou ajustar manualmente prompts até encontrar uma formulação que engane o modelo. O PEV, descrito pelos pesquisadores Abhinav Sudhakar Dubey, Scott Sirri, Vaggos Chatziafratis e C. Seshadhri, abandona completamente essa abordagem: ele simplesmente soma ruído Gaussiano independente, amostrado repetidamente, à representação do prompt já convertida em vetores de embedding, sem nenhum cálculo de gradiente, nenhuma otimização por prompt e nenhuma alteração dos pesos do modelo.

O mecanismo de ataque depende de ter acesso de caixa-branca ao menos até a camada de embedding do modelo — algo trivialmente disponível em modelos de peso aberto, onde qualquer pessoa pode carregar os pesos localmente e interceptar a representação vetorial do prompt antes que ela avance pelas camadas seguintes da rede. A partir daí, o ataque simplesmente tenta repetidamente amostrar ruído até que a resposta gerada seja insegura, usando o JailbreakBench como critério de sucesso. Testado contra seis modelos abertos comuns de tamanhos variados, o PEV conseguiu gerar respostas inseguras para todos os prompts em todos os modelos, com o primeiro jailbreak bem-sucedido chegando, em média, em menos de um minuto por prompt — e com custo computacional até uma ordem de magnitude menor do que ataques anteriores que exigem computação de gradiente ou otimização por prompt.

Na prática, a relevância do PEV está em dois pontos: primeiro, ele reduz drasticamente a barreira de entrada para produzir jailbreaks confiáveis contra modelos abertos, trocando sofisticação algorítmica por força bruta estatística baratíssima — qualquer pessoa com acesso aos pesos e poder de computação modesto pode reproduzir o ataque sem entender otimização por gradiente. Segundo, ele reforça um ponto já conhecido, mas aqui demonstrado de forma particularmente direta, de que o espaço de representação interna (embeddings) de um modelo de peso aberto é uma superfície de ataque legítima e barata de explorar, independente de qualquer defesa aplicada à camada de texto de entrada ou saída — já que o ataque nunca manipula o texto do prompt, apenas sua representação vetorial interna, filtros de conteúdo de entrada não têm nada para detectar.

Isso tem implicação direta para quem distribui ou hospeda modelos de peso aberto para uso por terceiros em ambientes onde o usuário tem acesso à camada de embedding (fine-tuning as a service, inferência local, ou APIs que expõem embeddings intermediários): alinhamento de segurança feito apenas com base em robustez textual (RLHF contra prompts adversariais em texto) não necessariamente se generaliza para robustez no espaço de representação vetorial, e esse é exatamente o tipo de ataque que esse estudo evidencia como simples, rápido e barato de executar. Os autores disponibilizaram o código, o que deve acelerar tanto a reprodução da pesquisa quanto, potencialmente, o uso malicioso da técnica — um trade-off inerente à publicação de pesquisa de segurança ofensiva com prova de conceito funcional.