Pesquisadores implementam na prática um backdoor de IA criptograficamente indetectável, usando só numpy e scipy
O trabalho reproduz de ponta a ponta uma construção teórica de Goldwasser et al. que planta backdoors em modelos treinados com Random Fourier Features de forma indetectável mesmo por auditoria completa dos pesos, mostrando que ela é realizável com ferramentas comuns de computação científica, sem infraestrutura criptográfica especializada. Testes de indistinguibilidade não encontraram diferença estatística entre modelos limpos e comprometidos.
A construção teórica original de Goldwasser e colegas já era conhecida na literatura de segurança de IA como uma prova de conceito preocupante: sob uma suposição de dificuldade criptográfica ligada ao problema Continuous Learning With Errors (CLWE), é possível plantar um backdoor em um modelo treinado com Random Fourier Features de tal forma que nenhuma auditoria de pesos, por mais completa que seja (mesmo com acesso white-box total), consegue distinguir o modelo comprometido de um limpo. O problema é que essa prova era puramente matemática, expressa em termos de reduções criptográficas e lemas probabilísticos, sem uma implementação de referência, e dependia de maquinário secundário pouco trivial de programar, como a distribuição "Sparse Gaussian Pancakes" e uma densidade CLWE homogênea condicional.
O novo artigo fecha essa lacuna entre teoria e prática: os autores implementam a construção completa usando apenas numpy e scipy, bibliotecas de computação científica padrão, sem qualquer biblioteca criptográfica especializada. A parte tecnicamente mais delicada foi construir samplers para a distribuição central GP_d(b_k) -- eles desenvolvem dois métodos, um por rejection sampling (mais simples, porém aproximado) e outro em forma fechada derivado analiticamente da densidade CLWE homogênea, que verificam contra sua própria forma analítica para garantir corretude.
Com a implementação em mãos, os pesquisadores rodam testes estatísticos de indistinguibilidade tanto no espaço de pesos quanto em comparações funcionais de caixa-preta, variando a taxa de esparsidade do backdoor, e não encontram evidência de diferença detectável entre modelos limpos e comprometidos em nenhum ponto testado. Isso confirma empiricamente, e não só teoricamente, que esse tipo de backdoor sobrevive a inspeção.
O valor prático do trabalho não é propor um novo ataque, mas responder uma pergunta que a comunidade de segurança de IA precisava saber: essa ameaça teórica é realizável hoje, com ferramentas de prateleira, por quem tiver conhecimento matemático suficiente para seguir o paper -- não exige um laboratório de criptografia. Isso eleva a prioridade de linhas de defesa que não dependam de auditoria estática de pesos (como monitoramento de proveniência de treinamento, atestação de pipeline de treino, ou testes de comportamento sob distribuições adversariais), já que a auditoria pós-hoc dos pesos, por si só, foi demonstrada como insuficiente para essa classe específica de backdoor.