Estudo encontra quase 17 mil modelos vulneráveis do Hugging Face ativamente referenciados em mais de 5 mil repositórios
Um estudo empírico rastreou 16.977 modelos do Hugging Face já sinalizados como vulneráveis — por falhas como serialização insegura e backdoors arquiteturais — e encontrou mais de 21 mil ocorrências desses modelos em código, espalhadas por mais de 5 mil repositórios open-source, sendo que 3.757 modelos distintos (22,1%) continuam sendo referenciados ativamente mesmo depois de sinalizados. Os autores não encontraram, nos padrões de integração analisados, nenhuma verificação de proveniência ou lógica de sanitização dos modelos antes do uso.
O trabalho ataca uma lacuna específica na literatura de segurança de cadeia de suprimentos de IA: estudos anteriores focaram em escanear registries de modelos (como o Hugging Face) para sinalizar artefatos maliciosos, mas pouco se sabia sobre o que acontece depois — se e como desenvolvedores de fato incorporam esses modelos já conhecidos como inseguros em seus próprios projetos. Para responder isso, os autores combinaram extração de grafos de propriedade de código com mineração de subgrafos frequentes, rastreando o uso de milhares de modelos sinalizados pela base InsightDB em repositórios do GitHub, pacotes de software, cadeias de fine-tuning e aplicações implantadas.
Os números revelam que a sinalização pública de um modelo como vulnerável não impede sua adoção: mais de 3.700 modelos distintos continuam sendo ativamente referenciados em pelo menos um projeto, totalizando mais de 21 mil pontos de código afetados. As vulnerabilidades em questão não são triviais — serialização insegura permite execução de código arbitrário ao carregar o modelo (um problema clássico em formatos como pickle), e backdoors arquiteturais embutem comportamento malicioso diretamente na estrutura do modelo, sobrevivendo a fine-tuning e reuso.
O achado mais preocupante é qualitativo: os autores não encontraram, em nenhum dos padrões de uso analisados, evidência de verificação de proveniência ou de sanitização dos modelos antes da integração. Em vez disso, desenvolvedores frequentemente contornam parâmetros de segurança disponíveis nos frameworks de ML (como flags que bloqueiam carregamento de formatos inseguros) ou simplesmente confiam nas configurações padrão permissivas das bibliotecas que usam.
Isso tem implicação direta para qualquer organização que consome modelos pré-treinados de repositórios públicos como parte do seu pipeline de ML: a mera existência de escâneres de vulnerabilidade em registries não resolve o problema se não houver, na ponta do consumo, controle equivalente a uma análise de dependências de software tradicional — verificação de origem, pinning de versão auditada e bloqueio automático de artefatos sinalizados antes que entrem em produção.