Código-fonte envenenado em plataformas como GitHub e Codex pode vazar propriedades privadas de dados de treinamento
O ataque CPPIA mostra que um provedor malicioso de código — distribuído via plataformas de hospedagem ou agentes de codificação — pode embutir lógica que, após o treinamento de um modelo com dados privados da vítima, permite ao atacante inferir propriedades globais confidenciais do dataset apenas consultando a API pública do modelo treinado. A técnica atinge 100% de precisão de ataque sem degradar a acurácia do modelo e sem exigir modelos sombra.
Plataformas de hospedagem de código e agentes de codificação como Codex tornaram trivial para iniciantes com dados privados — registros clínicos, dados financeiros, informação de transações — montar rapidamente modelos de machine learning customizados usando código de treinamento de terceiros baixado da internet, criando uma cadeia de suprimentos de risco pouco escrutinada nesse fluxo.
O Code-Poisoning Property Inference Attack (CPPIA) explora exatamente essa cadeia. Um provedor malicioso distribui código de treinamento aparentemente legítimo em um repositório público ou via um agente de codificação; a vítima baixa esse código e treina seu modelo com dados privados sem auditoria profissional, e depois publica uma API que retorna apenas rótulos (label-only). O código malicioso embute propriedades específicas em 'amostras secretas' já durante o próprio processo de treinamento; mais tarde, o atacante consulta a API pública com essas amostras secretas para inferir propriedades globais do conjunto de dados privado da vítima — sem precisar treinar modelos sombra nem ter acesso a probabilidades, apenas aos rótulos retornados.
Avaliado em 4 datasets, 8 arquiteturas de modelo, 18 propriedades distintas e sob 3 mecanismos de defesa diferentes, o CPPIA atinge 100% de precisão de ataque sem degradar a acurácia do modelo final e com baixo custo computacional, superando ataques anteriores de inferência de propriedade em todas essas dimensões simultaneamente — os ataques anteriores tipicamente sacrificavam desempenho do modelo, exigiam modelos sombra caros, ou falhavam sob defesas básicas.
É o primeiro ataque de inferência de propriedade situado no próprio código de treinamento, e não nos dados nem no modelo final — o que significa que auditar apenas o dataset de origem ou a saída do modelo publicado não é suficiente para detectá-lo. Equipes que usam código de treinamento de terceiros, seja de repositórios open source, seja gerado por agentes de codificação, precisam passar a tratar o próprio pipeline de treinamento como superfície de ataque à privacidade, especialmente quando o modelo resultante é exposto publicamente como API, mesmo que apenas com rótulos.