AEGIS propõe blindar três canais de vazamento de gradiente em ajuste fino federado de LLMs
Pesquisadores identificaram três canais distintos pelos quais gradientes compartilhados durante o treinamento federado de LLMs baseados em transformers vazam o texto original de treinamento, e propuseram o AEGIS, uma defesa leve que neutraliza os três ao mesmo tempo sem mudar a arquitetura do modelo. O trabalho, aceito na NDSS 2027, reduziu a taxa de recuperação de tokens a quase zero em 11 modelos e seis conjuntos de dados, inclusive contra atacantes adaptativos que conhecem a defesa.
Aprendizado federado promete treinar modelos sem que os dados originais saiam do dispositivo do cliente — só os gradientes (as atualizações de peso) são compartilhados com o servidor. O problema, já conhecido na literatura, é que ataques de "inversão de gradiente" conseguem reconstruir o texto de treinamento a partir desses gradientes. Este trabalho vai além do estado da arte ao dissecar exatamente por onde, dentro da arquitetura transformer, esse vazamento acontece.
Os autores identificam três canais específicos: o gradiente da projeção de saída da atenção expõe um subespaço de baixo posto que codifica os embeddings de entrada; a esparsidade da norma por linha do gradiente de embedding revela diretamente quais tokens estavam presentes no texto original; e o gradiente de expansão da camada MLP carrega um sinal de subespaço recuperável semelhante ao primeiro canal. Ataques existentes já exploram esses canais analiticamente para recuperar tokens quase que exatamente, em segundos. O AEGIS fecha os três com operações aplicadas apenas no caminho de backward: congela os parâmetros de projeção da atenção (eliminando o canal 1 por construção), injeta ruído calibrado no gradiente de embedding (destruindo o sinal de presença de token do canal 2) e injeta ruído análogo por bloco no gradiente da MLP (mascarando o canal 3).
O ponto prático é que essa mitigação não exige mudar a arquitetura do modelo nem adicionar etapas de treinamento — é um ajuste no que já seria computado, o que barateia a adoção. Avaliado em 11 modelos e seis conjuntos de dados, o AEGIS derrubou a taxa de recuperação de tokens a quase zero contra ataques tanto analíticos quanto baseados em otimização, preservando ou até melhorando a utilidade do modelo, e os autores fornecem garantias formais para dois dos três canais, além de validação empírica contra adversários adaptativos que conhecem o mecanismo de defesa por completo.
Isso importa porque aprendizado federado é frequentemente vendido como uma solução "por design" de privacidade para treinar LLMs em dados sensíveis (mensagens, documentos internos, dados de saúde) sem centralizar as informações — e ataques de inversão de gradiente colocam essa promessa em xeque na prática. Uma defesa leve e com garantias formais, como a proposta aqui, é o tipo de contribuição que pode viabilizar o uso responsável de aprendizado federado em cenários onde até agora o risco de vazamento inviabilizava a adoção.