DeepInvert quebra defesas de ofuscação de prompt em serviços de LLM na nuvem, recuperando até 73,5% dos tokens originais

A premissa das defesas de ofuscação de prompt é permitir que uma organização use um LLM hospedado por terceiros sem enviar o texto original em claro: em vez disso, o prompt é transformado em uma representação intermediária (embedding perturbado) antes de sair da rede da organização, teoricamente impedindo que o provedor do serviço veja o conteúdo real da consulta, ao mesmo tempo em que a representação ainda carrega informação suficiente para o modelo processar a tarefa. Esse tipo de defesa é atraente por ser mais leve computacionalmente do que soluções criptográficas completas.

O DeepInvert explora exatamente a tensão inerente a essa proposta: para a representação ofuscada ainda ser útil ao modelo, ela precisa preservar estrutura semântica suficiente — e essa mesma estrutura é o que um atacante pode explorar para reverter a transformação. O ataque combina treinamento supervisionado sobre dados de "shadow" rotulados (exemplos com par conhecido de texto original e embedding ofuscado, usados para aprender a relação de inversão) com um novo objetivo de consistência não supervisionado, aplicado sobre embeddings ofuscados do alvo real sem rótulo, alternando entre os dois regimes em um pipeline de treinamento misto. Isso permite que o ataque generalize melhor para o tráfego real do alvo, que naturalmente não vem rotulado.

Os autores testaram contra nove defesas de ofuscação diferentes, cinco tarefas e quatro arquiteturas de modelo (incluindo encoder-based e autoregressivas), superando ataques anteriores na maioria dos casos — o salto de 26,2% para 73,5% de recuperação exata de token no primeiro lugar (ObfusLM) é uma diferença de ordem prática, não incremental. Os resultados também revelam uma tensão estrutural que os autores chamam de dependente da tarefa: esquemas de ofuscação que preservam informação suficiente para manter utilidade no LLM também retêm estrutura suficiente para serem invertidos, enquanto esquemas robustos o bastante para resistir à inversão acabam degradando a utilidade da tarefa a ponto de inviabilizar o uso prático — só em tarefas de classificação mais simples algumas defesas baseadas em privacidade diferencial (DP) conseguem manter as duas propriedades simultaneamente.

A conclusão dos autores é um convite direto a reavaliar toda essa classe de defesa antes de recomendá-la como controle de privacidade em produção. Para organizações que hoje usam ofuscação de embedding como alternativa mais barata à criptografia homomórfica ou à computação segura multiparte para proteger prompts sensíveis enviados a LLMs de terceiros, o resultado é um alerta concreto: a proteção pode estar dando uma falsa sensação de segurança, especialmente quando o provedor do serviço (ou alguém com acesso ao tráfego) tem capacidade de coletar embeddings ofuscados em volume suficiente para treinar um inversor como o DeepInvert.