Framework combina TEE de CPU com GPUs não confiáveis para certificar treinamento com privacidade diferencial em hardware legado
Certificar que um modelo foi treinado com privacidade diferencial (DP) de forma correta é um problema difícil quando o verificador não pode acessar os dados privados originais, e abordagens criptográficas como provas de conhecimento zero têm overhead proibitivo. O artigo propõe usar um Trusted Execution Environment de CPU para verificar probabilisticamente os gradientes computados por GPUs não confiáveis, obtendo detecção de desvios maliciosos de DP com overhead modesto mesmo em GPUs legadas sem suporte a TEE multi-GPU.
A privacidade diferencial (DP) tornou-se o mecanismo padrão para dar garantias formais de proteção a dados sensíveis usados no treinamento de modelos de machine learning, mas garantir que um modelo publicado foi de fato treinado respeitando DP é um problema de verificação distinto e menos estudado: um auditor externo precisa confirmar que o mecanismo de DP (tipicamente, clipping de gradiente mais adição de ruído calibrado) foi aplicado corretamente durante todo o treinamento, sem ter acesso aos dados privados nem, necessariamente, confiar cegamente no operador do treinamento.
Abordagens criptográficas puras, como provas de conhecimento zero (ZK), oferecem garantias fortes de verificação, mas o overhead computacional pode chegar a ordens de magnitude acima do treinamento normal, tornando-as inviáveis para o treinamento ou fine-tuning de LLMs em escala. Trusted Execution Environments (TEEs) são uma alternativa mais eficiente, mas o suporte a TEE que abrange múltiplas GPUs simultaneamente — necessário para treinar modelos grandes — só existe em plataformas de hardware recentes, deixando de fora a enorme base instalada de GPUs mais antigas usadas por muitas organizações.
A proposta central do artigo é uma arquitetura híbrida que reconhece essa tensão entre eficiência e segurança: treinar inteiramente dentro de um TEE de CPU é impraticavelmente lento para cargas de trabalho de deep learning, mas descarregar todo o processamento para GPUs sem qualquer supervisão permite que um operador malicioso se desvie silenciosamente das regras de DP. A solução descarrega o cálculo caro de gradientes para as GPUs não confiáveis, enquanto o TEE de CPU realiza uma verificação probabilística (checagem por amostragem, não de cada operação) de que os gradientes resultantes respeitam a política de DP declarada — um compromisso deliberado entre confiar cegamente e verificar exaustivamente.
Os resultados relatados mostram que o framework detecta desvios grosseiros e frequentes de DP com alta probabilidade, e que, para os ataques de gradiente forjado orientados a preservar utilidade avaliados no estudo, desvios esparsos (mais difíceis de detectar) trazem benefício limitado de utilidade ao atacante e não produzem vazamento de privacidade adicional mensurável — ou seja, o espaço de ataque que resta após a defesa é pouco atrativo mesmo para quem tenta contorná-la sutilmente. O overhead medido é descrito como modesto frente ao treinamento padrão em GPU, o que é relevante para equipes de compliance e provedores de treinamento como serviço que precisam oferecer certificação de DP a clientes regulados sem depender exclusivamente de hardware TEE multi-GPU de última geração, ainda inacessível para boa parte da infraestrutura em produção hoje.