Defesa matemática contra roubo de modelos por destilação chega a classificadores com custo de acurácia zero

Destilação de conhecimento permite que um adversário replique um classificador proprietário apenas consultando sua interface de predição e treinando um modelo substituto sobre os vetores de probabilidade retornados pela API — um vetor de roubo de propriedade intelectual conhecido, mas cuja defesa por antidistillation sampling, já proposta para LLMs, nunca havia sido formalmente estudada em classificadores tradicionais.

Os autores mostram que o comportamento dessa defesa é governado pela distribuição das margens de confiança do modelo professor por entrada. Como classificadores bem treinados costumam ser extremamente overconfident, a transferência direta da técnica original de LLMs para classificação exibe uma 'janela inerte': abaixo de um limiar previsível em forma fechada, a defesa não afeta nem atacante nem defensor; acima dele, ocorre uma transição de fase em que a defesa degrada o próprio modelo professor mais rápido do que degrada o aluno destilado pelo atacante — um resultado contraproducente. O ADS-C resolve esse problema compondo a perturbação sob um orçamento de margem por entrada, também em forma fechada, que preserva matematicamente cada predição top-1 já servida — a acurácia do classificador protegido permanece idêntica à do classificador original, mudando apenas a distribuição de probabilidades que sustenta o rótulo escolhido.

Sob essa garantia, um aluno destilado a partir das saídas do modelo defendido ainda perde 17,4 pontos percentuais de acurácia no CIFAR-100, 29,6 no CIFAR-10 e 13,3 no Tiny-ImageNet. Igualar essa degradação usando a defesa original sem a garantia de custo zero exigiria sacrificar entre 22 e 33 pontos de acurácia do próprio modelo protegido — um preço que, na prática, inviabiliza a adoção da defesa original em produção. Como os rótulos servidos permanecem inalterados, um atacante que só observa rótulos (hard-label) não ganha nada com a defesa; e o atacante que tenta explorar as probabilidades suavizadas acaba treinando um aluno até 29,7 pontos abaixo do que conseguiria sem defesa nenhuma — invertendo o incentivo para tentar destilar o modelo.

É, segundo os autores, a primeira defesa antidestilação para classificação com custo de utilidade comprovadamente zero para o defensor, o que remove o principal argumento histórico contra esse tipo de defesa: que ela prejudica usuários legítimos da API em troca de dificultar o atacante. Para empresas que vendem acesso a classificadores proprietários via API — moderação de conteúdo, biometria, scoring de crédito ou fraude — isso oferece um caminho prático para proteger propriedade intelectual sem precisar negociar entre segurança e qualidade de serviço.