Ataque criptanalítico extrai parâmetros e arquitetura de redes neurais sem conhecimento prévio do modelo
Pesquisadores apresentaram o primeiro ataque de extração criptanalítica capaz de recuperar tanto a arquitetura quanto os parâmetros de uma rede neural ReLU totalmente conectada usando apenas acesso de caixa-preta às suas saídas brutas, removendo a suposição — presente em todo trabalho anterior na área — de que o atacante já conhece a profundidade e as dimensões das camadas do modelo alvo. O método usa um framework de "guess-and-determine" que identifica sinais estatísticos deixados no processo de recuperação de assinatura quando a dimensão da camada é chutada corretamente ou incorretamente.
Ataques de extração criptanalítica tratam o processo de "roubar" um modelo de forma análoga a quebrar uma cifra: dado apenas acesso de caixa-preta à saída bruta de uma rede neural, o objetivo é reconstruir matematicamente os pesos exatos do modelo, não apenas treinar um substituto aproximado por destilação. Toda a literatura anterior nessa linha, porém, dependia de o atacante já saber a arquitetura exata do alvo — quantas camadas a rede tem e a dimensão de cada uma —, uma suposição forte que limita bastante a aplicabilidade prática desse tipo de ataque contra modelos comerciais cuja arquitetura não é divulgada.
O avanço técnico deste trabalho é remover essa suposição para redes ReLU totalmente conectadas, tanto expansivas quanto não-expansivas, por meio de um framework de "guess-and-determine" que testa hipóteses de dimensão e observa vestígios estatísticos sensíveis à arquitetura deixados no processo de recuperação de parâmetros. Os autores identificam dois sinais concretos: um "zero suffix" — um sufixo de zeros nos vetores de peso combinados produzidos durante a recuperação de assinatura, cujo comprimento revela quantas suposições de dimensão foram feitas a mais do que o necessário — e um "padrão de igualdade" que só aparece na recuperação de sinal baseada em preimagem quando o chute de dimensão está correto, funcionando como uma espécie de confirmação criptográfica de que a hipótese testada é a certa.
Com esses dois sinais complementares, e com critérios adicionais para identificar corretamente a penúltima camada da rede (necessário para saber quando parar o processo de tentativa), os autores implementam ataques ponta a ponta em uma variedade ampla de redes ReLU, demonstrando que o processo de recuperação de arquitetura e parâmetros pode, de fato, ser conduzido de forma conjunta e automatizada, sem qualquer conhecimento prévio da topologia do alvo.
O impacto prático imediato ainda é limitado a redes ReLU totalmente conectadas relativamente simples, o que está longe da complexidade de LLMs de produção baseados em transformers, mas o trabalho é relevante como prova de conceito de uma direção de pesquisa: a suposição de "segurança por obscuridade" arquitetural, hoje comum em serviços de inferência de modelo como serviço que escondem detalhes de arquitetura como parte da proteção de propriedade intelectual, não é uma barreira tão sólida quanto se assumia, e futuras extensões dessa técnica para arquiteturas mais complexas são uma direção de pesquisa natural e preocupante para provedores de modelos proprietários.