Certificação criptográfica de modelos de IA pode ser enganada: 99% de acurácia na auditoria, menos de 30% na vida real
Pesquisadores mostram que protocolos de certificação criptográfica de modelos (CMC), que usam provas de conhecimento zero para permitir que auditores avaliem um modelo de IA sem acessar seus dados ou pesos, podem ser enganados por um provedor de modelo mal-intencionado. Engenheirando cuidadosamente os dados de treinamento, um atacante consegue certificar mais de 99% de acurácia no conjunto de auditoria fixo, enquanto o modelo real atinge menos de 30% em amostras novas da mesma distribuição.
Protocolos de auditoria de machine learning que preservam privacidade são pensados para permitir que reguladores ou terceiros avaliem propriedades de um modelo — acurácia, equidade — sem que o dono do modelo precise revelar pesos ou dados de treinamento, o que os torna especialmente atraentes para setores sensíveis como saúde e finanças. A garantia de segurança prometida é criptográfica: uma prova de conhecimento zero atesta matematicamente que o modelo se comportou de determinada forma durante a auditoria.
O problema que os autores expõem é conceitual, não uma falha de implementação isolada: as definições de segurança usadas por esses esquemas certificam apenas o comportamento do modelo sobre um conjunto de auditoria fixo, sem qualquer garantia de que esse comportamento generalize para dados novos amostrados da mesma distribuição. Isso abre uma janela de ataque: um provedor de modelo pode, deliberadamente, projetar os dados de treinamento (por exemplo, via overfitting direcionado ou envenenamento controlado) de modo que o modelo tenha desempenho artificialmente excelente exatamente nos exemplos que compõem o conjunto de auditoria, enquanto se comporta de forma patológica fora dele.
Os autores demonstram esse ataque empiricamente: um modelo consegue ser certificado com mais de 99% de acurácia no conjunto de auditoria e ainda assim atingir menos de 30% de acurácia em amostras novas da mesma distribuição — uma diferença grande o suficiente para invalidar completamente qualquer decisão de negócio, clínica ou regulatória baseada no certificado. Como contribuição construtiva, o artigo formaliza noções de segurança criptográfica mais rigorosas, específicas para esse tipo de certificação, propõe um template genérico de protocolo e prova matematicamente que essa nova construção satisfaz as garantias mais fortes.
O alerta prático é direto para qualquer organização que planeje se apoiar em certificação criptográfica de modelos como evidência de conformidade: uma prova de conhecimento zero é tão forte quanto a definição de segurança por trás dela, e neste caso a definição vigente deixava passar exatamente o tipo de manipulação que um provedor de modelo mal-intencionado, ou mesmo despreparado, teria incentivo a explorar diante de uma auditoria regulatória de alto risco.