Gradientes ampliam drasticamente o vazamento de texto em aprendizado dividido de modelos de linguagem
Pesquisadores quantificam quanto um atacante posicionado no ponto de divisao de um esquema de split learning consegue reconstruir do texto original de treino ao interceptar ativacoes e gradientes, medindo tanto a taxa de recuperacao por token quanto por documento inteiro. Em GPT-2, apenas ativacoes permitem recuperar 94,20% dos tokens, mas somar os gradientes eleva a reconstrucao exata de documentos completos de 13,71% para 37,77%, e mesmo uma defesa dedicada ainda deixa de 83% a 91% dos tokens recuperaveis individualmente.
Split learning e uma arquitetura em que um cliente executa as camadas iniciais de um modelo de linguagem localmente e envia apenas as ativacoes resultantes para um servidor, que completa o processamento; durante o treinamento, o servidor devolve gradientes ao cliente para a retropropagacao. A promessa de privacidade dessa abordagem e que o texto bruto nunca sai do dispositivo do cliente -- apenas representacoes intermediarias (ativacoes) e sinais de gradiente trafegam pela rede. O trabalho avalia o quanto essa promessa resiste quando um atacante se posiciona exatamente no ponto de divisao e intercepta tanto as ativacoes quanto os gradientes trocados.
A contribuicao metodologica central e medir o vazamento de duas formas distintas e mostrar que elas contam historias diferentes: taxa de recuperacao por token (quantos tokens individuais sao reconstruidos corretamente) e taxa de recuperacao por documento (quantos documentos sao reconstruidos com 100% de exatidao, token a token). Em GPT-2 com pesos publicos, observar apenas as ativacoes ja permite recuperar 94,20% dos tokens individuais; adicionar os gradientes eleva isso para 97,38%, um ganho que parece modesto em termos de token (cerca de 3 pontos percentuais). Mas no nivel de documento completo, o efeito e muito mais dramatico: sem gradientes, apenas 13,71% dos documentos sao reconstruidos com exatidao perfeita; com gradientes, esse numero mais que dobra para 37,77%. Isso acontece porque reconstrucao exata de documento exige acerto perfeito em todo token, e a informacao extra dos gradientes e justamente o que resolve os poucos tokens ambiguos que, de outra forma, quebrariam a reconstrucao completa.
Os autores tambem testam uma defesa chamada 'secret mixup', que mistura vetores de ativacao com iscas (decoys) para confundir o atacante. Essa defesa quase elimina a reconstrucao exata de documentos completos, mas ainda permite que 83% a 91% dos tokens individuais sejam recuperados -- ou seja, a defesa funciona bem na metrica 'documento inteiro' mas deixa uma quantidade substancial de vazamento residual na metrica 'por token', que pode ainda ser suficiente para reconstruir informacao sensivel parcial (nomes, numeros, trechos de frases) mesmo sem reconstruir o documento completo.
Na pratica, essa dupla metrica e o principal alerta do trabalho para quem avalia a seguranca de split learning: reportar apenas uma taxa agregada de reconstrucao de documentos pode mascarar um vazamento de informacao substancial no nivel de token, que ja e suficiente para violar privacidade em muitos cenarios (por exemplo, extrair um numero de CPF ou um nome especifico de um documento, mesmo sem recuperar o documento inteiro). Os autores recomendam que saidas intermediarias de split learning -- ativacoes e gradientes -- sejam tratadas com o mesmo nivel de sensibilidade que o texto bruto, o que tem implicacao direta de design para qualquer sistema que adote essa arquitetura assumindo que dividir o modelo, por si so, garante privacidade.