Jailbreaks com intenção camuflada: um framework teórico-informacional para ataques compositivos a LLMs
Pesquisadores formalizam matematicamente por que pedidos maliciosos dissimulados dentro de tarefas benignas conseguem escapar de filtros de segurança de LLMs. O estudo introduz o conceito de "prior-posterior matching": selecionar tarefas auxiliares de modo que o risco médio percebido do pacote combinado se iguale à média geral, mascarando a intenção nociva sem removê-la. Os autores mostram que o ataque funciona em vários modelos open-source, mas revelam um trade-off: pacotes maiores escondem melhor a intenção, porém tendem a degradar a execução do objetivo malicioso original.
O artigo ataca um problema conhecido na prática — jailbreaks que escondem um pedido perigoso dentro de uma consulta maior e aparentemente inofensiva — mas o faz com uma lente teórico-informacional pouco comum na literatura de segurança de LLMs. Em vez de apenas demonstrar exemplos de prompts que funcionam, os autores constroem um formalismo em que cada tarefa recebe uma probabilidade estimada de ser julgada danosa, definindo a condição de "prior-posterior matching": escolher tarefas auxiliares de forma que a média de probabilidade de dano do pacote (posterior) permaneça igual à média geral da coleção de tarefas (prior), mesmo que o alvo malicioso continue presente dentro do pacote.
Tecnicamente, o trabalho explora dois regimes. No cenário em que a seleção de tarefas auxiliares ocorre sem considerar como a consulta final será redigida, os autores mostram que encontrar o pacote mínimo que satisfaz exatamente essa igualdade é computacionalmente difícil, mas obtêm uma solução ótima aproximada via um algoritmo de "water-filling" para pesos fracionários, além de caracterizar o menor pacote necessário para atingir um determinado limiar de segurança. No cenário em que a seleção de tarefas e a construção da consulta são otimizadas conjuntamente, tanto o quão bem a intenção fica escondida quanto a preservação do comportamento-alvo malicioso são avaliados diretamente na consulta final.
O achado mais relevante para quem defende sistemas é o trade-off identificado: aumentar o tamanho do pacote de tarefas melhora a camuflagem da intenção perante um classificador de risco agregado, mas em vários modelos isso reduz a taxa de preservação do comportamento-alvo na resposta — o ataque fica mais furtivo, porém menos eficaz em produzir exatamente o conteúdo malicioso desejado. Isso sugere que não existe um ponto ótimo trivial para o atacante, e que defesas que avaliam risco de forma agregada sobre tarefas compostas podem explorar justamente esse trade-off.
Na prática, isso importa porque a maioria dos guardrails atuais classifica a intenção de prompts localmente, sem um modelo probabilístico formal de como a composição de subtarefas altera a percepção de risco. O framework proposto oferece uma base matemática para medir quão vulnerável um classificador é a esse tipo de diluição, e pode orientar defesas que analisem explicitamente a distribuição de risco dentro de pacotes de tarefas, não apenas o julgamento agregado final.