Framework adaptativo de jailbreak por voz derruba defesas de LLMs de áudio em cascata e ponta a ponta
Pesquisa (atualização v4, aceita no IEEE ICDM 2026) apresenta um framework adaptativo que gera e refina automaticamente jailbreaks contra sistemas de LLM baseados em áudio, cobrindo tanto pipelines em cascata (que primeiro transcrevem a fala para texto) quanto modelos de áudio ponta a ponta que processam o sinal bruto diretamente. Um motor de mutação guiado por feedback ajusta tanto o texto do prompt quanto perturbações acústicas para maximizar a taxa de sucesso, e o método superou o estado da arte em seis sistemas de áudio representativos, evidenciando que ambos os paradigmas seguem substancialmente vulneráveis a esse tipo de ataque.
LLMs com entrada de áudio se popularizaram em assistentes de voz e produtos que permitem interação falada direta com o modelo, e existem hoje em duas arquiteturas distintas. Pipelines em cascata primeiro convertem a fala em texto via reconhecimento automático de voz (ASR) e só então passam o texto para o LLM — nesse caso, o modelo de linguagem nunca vê o áudio bruto, então ataques de jailbreak textuais tradicionais entregues por voz continuam sendo a principal ameaça. Já os modelos de áudio ponta a ponta (LALMs) processam o sinal acústico diretamente, sem transcrição intermediária, o que introduz uma superfície de ataque adicional: características puramente acústicas (entonação, ruído, artefatos de perturbação no próprio sinal sonoro) podem influenciar o comportamento do modelo de formas que não têm equivalente em texto.
O framework descrito ataca os dois paradigmas com uma engine de mutação guiada por feedback: candidatos de jailbreak são gerados, testados contra o sistema-alvo, e refinados iterativamente com base na resposta obtida — tanto no espaço de prompts textuais (para a rota que passa por ASR) quanto no espaço de perturbações acústicas (para a rota ponta a ponta). Esse design adaptativo é o que diferencia o trabalho de ataques de jailbreak estáticos ou de dicionário fixo: o motor de mutação aprende, a cada rodada, quais direções de perturbação têm mais chance de contornar as defesas daquele sistema específico, em vez de aplicar o mesmo conjunto de templates a qualquer alvo.
Os autores testaram o framework contra seis sistemas de áudio representativos, cobrindo ambas as arquiteturas, e reportam taxas de sucesso de ataque consistentemente mais altas do que métodos de jailbreak por voz do estado da arte anteriores. O resultado central — vulnerabilidade substancial em cascata e ponta a ponta — é relevante porque contraria a intuição de que uma arquitetura em cascata seria mais segura por natureza (já que "filtra" o áudio bruto): na prática, ela apenas herda as vulnerabilidades de jailbreak textual já conhecidas, entregues por um canal (voz) que pode escapar de filtros de conteúdo calibrados para texto digitado.
Do ponto de vista prático, isso importa para qualquer produto que exponha um LLM a entrada de voz não controlada — assistentes de atendimento, dispositivos IoT com comando de voz, chamadas processadas por IA — porque mostra que testes de robustez feitos apenas no canal de texto (o mais comum hoje em red-teaming de LLM) não cobrem a superfície real de ataque quando a interface final é voz. A aceitação no ICDM 2026 dá revisão por pares ao resultado, reforçando que esse não é um achado isolado, mas uma classe de vulnerabilidade sistemática nos dois principais paradigmas de arquitetura de LLM de áudio em uso hoje.