Estudo prova limite matemático das defesas com estado contra ataques de decomposição em serviços de LLM

Pesquisadores (Bowen Sun, Zhengyue Zhao, Xiaogeng Liu, Yinzhi Cao, Chaowei Xiao) estudam 'ataques de decomposição': dividir uma tarefa nociva em várias requisições individualmente permitidas e depois combinar as respostas para reconstruir o resultado nocivo, uma forma conhecida de contornar moderação stateless que julga apenas cada requisição isolada. Os autores perguntam se um monitor com estado, que analisa múltiplas requisições em conjunto, ainda consegue barrar isso quando atacantes podem criar identidades novas e não vinculáveis entre si, combinando as partes fora da plataforma.

Os autores provam formalmente que, para uma estratégia de ataque fixa e sem retentativas, o equilíbrio alcançável entre segurança e utilidade depende inteiramente de como as requisições benignas para as mesmas capacidades são agrupadas pela defesa; existe um ponto de operação útil apenas se usuários legítimos formam grupos persistentes e reconhecíveis, permitindo à defesa distinguir 'muitos pedidos inofensivos do mesmo usuário recorrente' de 'fragmentos de um único ataque espalhados por contas descartáveis'. Quando atacantes também podem retentar e se adaptar com base no feedback de permitir/bloquear da plataforma, os autores mostram que esse ponto de operação útil desaparece por completo, porque o sinal de feedback revela o que passa pela moderação sem nunca confirmar se uma decisão de bloqueio estava correta, permitindo que atacantes sondem iterativamente seu caminho ao redor de qualquer estratégia fixa de agrupamento.

Em 91 tarefas executáveis reais, combinadas com 11.393 requisições benignas equivalentes em capacidade, testando dez políticas de defesa, incluindo uma política idealizada e privilegiada com mapeamento exato de requisição para operação subjacente, sob limites realistas (1% de taxa de recusa para as requisições benignas equivalentes, 0,5% para tráfego de fundo não relacionado), todas as políticas testadas ou falharam em impedir os ataques ou estouraram o orçamento de recusas permitido; em famílias de tarefa não vistas pela defesa, o sucesso do ataque já era de pelo menos 99% após uma tentativa e 100% após duas.

É um resultado negativo rigoroso com relevância operacional direta: mostra que nenhuma lógica de agrupamento de requisições, por mais sofisticada, fecha essa lacuna sozinha enquanto atacantes puderem criar identidades novas e não vinculáveis a baixo custo e combinar as respostas parciais por conta própria; o fato de que mesmo uma defesa idealizada, com classificação perfeita de requisições, falha sob o cenário de retentativas é um sinal forte de que este não é um problema solucionável apenas com engenharia dentro da arquitetura atual. Concretamente, os autores argumentam que defesas eficazes precisam de algo além do julgamento de conteúdo por requisição: vinculação confiável de identidade, que eleve o custo de criar contas descartáveis, fricção ou custo explícito para identidades novas, ou controle sobre como as respostas parciais extraídas são posteriormente usadas ou combinadas, uma conclusão que qualquer equipe rodando moderação de conteúdo ou filtragem de segurança sobre uma API de LLM deveria levar a sério, já que decomposição é uma técnica barata e bem conhecida já usada contra sistemas em produção hoje.