Nova técnica de inferência de associação dispensa modelos de referência caros, baixando o custo de ataques de privacidade contra modelos grandes
Ataques de inferência de associação (que tentam determinar se um dado específico fez parte do conjunto de treinamento de um modelo) tradicionalmente exigem treinar modelos de referência auxiliares — algo caro demais para replicar contra modelos grandes modernos. Pesquisadores mostram que consultar o próprio modelo-alvo sobre pontos de dados vizinhos ao exemplo investigado recupera a mesma calibração sem nenhum treinamento adicional, obtendo sinal de associação competitivo a custo praticamente zero.
Ataques de inferência de associação (membership inference) tentam responder uma pergunta simples mas sensível: um determinado registro fez parte dos dados usados para treinar este modelo? Isso importa porque, se um atacante consegue responder essa pergunta com confiança, ele pode inferir, por exemplo, que uma pessoa específica esteve presente num dataset médico ou financeiro usado para treinar um modelo, mesmo sem acesso direto aos dados de treinamento — uma violação de privacidade relevante sob praticamente qualquer regime regulatório de proteção de dados.
O estado da arte desses ataques depende de calibrar o sinal de associação individualmente para cada exemplo usando 'modelos de referência': modelos auxiliares treinados especificamente excluindo aquele exemplo, para servir de comparação sobre como o exemplo se comportaria 'se não tivesse sido visto'. Esse paradigma funciona bem em escala acadêmica, mas se torna impraticável contra modelos grandes modernos, cujo treinamento é caro demais para replicar múltiplas vezes só para fins de auditoria de privacidade — o que empurrou a literatura para cenários de 'uma rodada', em que o atacante só tem acesso a um único modelo já treinado, sem poder treinar réplicas.
A contribuição central deste artigo é notar que a função dos modelos de referência é apenas revelar como um exemplo se comporta sob modelos que não foram treinados com ele — e que consultar o modelo-alvo sobre exemplos vizinhos (semanticamente próximos, mas não idênticos, ao ponto investigado) fornece essencialmente a mesma informação, sem exigir treinar nada adicional. Os autores propõem duas formas complementares de obter esses vizinhos e mostram que consultá-los também contra um checkpoint inicial do treinamento (e não só o modelo final) reforça ainda mais o sinal obtido. Avaliado em três datasets de classificação de imagem e diferentes configurações de treinamento, o método atinge desempenho de ataque competitivo com as abordagens que dependem de modelos de referência, mas sem nenhum custo de treinamento extra.
O efeito prático é reduzir a barreira de custo para auditar (ou atacar) a privacidade de modelos de produção em escala — o que é de dois gumes: por um lado, dá a auditores e reguladores uma ferramenta mais barata para verificar se um modelo memorizou dados sensíveis específicos; por outro, também dá a um atacante essa mesma capacidade contra modelos grandes que antes eram protegidos, na prática, pelo simples custo proibitivo de montar um ataque de inferência de associação bem calibrado.