LLMs afinados podem esconder mensagens secretas nas próprias respostas, e sondas internas ajudam a detectar isso
O estudo aprofunda ataques de esteganografia em que um LLM fine-tunado codifica secretamente informação do prompt na sua saída, propondo esquemas de 'baixa recuperabilidade' derivados do espaço de embeddings que dificultam a extração do segredo por terceiros. Como contrapartida defensiva, sondas lineares treinadas sobre ativações de camadas finais detectam a presença do segredo com até 33% mais precisão em modelos fine-tunados do que em modelos base.
Modelos de linguagem ajustados por fine-tuning podem, em teoria, ser treinados para embutir secretamente informação do prompt na resposta gerada, criando um canal encoberto de exfiltração de dados que passa despercebido em uma leitura normal do texto de saída. Trabalho anterior, conhecido como TrojanStego, já havia demonstrado essa possibilidade, mas usando mapeamentos de codificação triviais, com 100% de recuperabilidade por qualquer classificador dedicado a extraí-los.
Os autores formalizam 'recuperabilidade' do payload secreto como a acurácia de um classificador construído especificamente para extraí-lo, e então propõem esquemas de baixa recuperabilidade que substituem mapeamentos arbitrários por mapeamentos derivados da geometria do próprio espaço de embeddings do modelo, dificultando a extração por quem desconhece a construção geométrica específica usada. Em Llama-8B e Ministral-8B ajustados via LoRA sobre os prompts do TrojanStego, e em Llama-70B via LoRA sobre prompts da Wikipedia, essa mudança reduz a recuperabilidade do payload por atacantes externos, ao custo de aumentar a taxa de recuperação exata do segredo pelo próprio detentor do esquema — de 17% para 30% no Llama-8B, de 24% para 43% no Ministral-8B e de 9% para 19% no Llama-70B.
Do lado defensivo, os autores argumentam que detectar esse tipo de esteganografia induzida por fine-tuning exige ir além da esteganálise tradicional baseada em desvio distribucional — que é um efeito colateral esperado de qualquer fine-tuning, não um sinal específico de ataque. Em vez disso, propõem sondas lineares (linear probes) treinadas sobre ativações de camadas finais do modelo, que conseguem detectar a presença do segredo com até 33% mais precisão em modelos fine-tunados do que em modelos base, mesmo para os esquemas de baixa recuperabilidade propostos no próprio artigo.
É um vetor de exfiltração de dados relevante em cenários onde um modelo de terceiros — fine-tunado por um fornecedor, por um insider malicioso, ou obtido de um repositório público — é implantado em um ambiente com dados sensíveis: a saída do modelo, aparentemente normal ao olho humano, pode carregar informação privada do prompt de entrada para quem souber decodificá-la. A contribuição defensiva mais interessante é metodológica: usar interpretabilidade mecanicista, examinando ativações internas em vez de apenas a distribuição estatística do texto de saída, aponta um caminho prático de auditoria para quem faz fine-tuning de modelos de terceiros ou distribui modelos já ajustados para uso por outros.