Simetria de permutação nos pesos de LLMs pode esconder malware indetectável -- ou eliminá-lo de vez
Pesquisadores mostram que a mesma propriedade matemática de redes neurais -- a simetria de permutação entre neurônios equivalentes -- pode ser usada tanto para embutir malware nos pesos de um modelo de forma teoricamente sem perdas quanto para higienizar completamente um modelo suspeito, deslocando todos os parâmetros. O trabalho supera métodos anteriores de neutralização, que deixavam parte significativa dos pesos intocada.
O conceito de "stegomalware" em modelos de IA parte de uma premissa incômoda: como modelos de linguagem são distribuídos como arquivos de pesos numéricos e reutilizados livremente (fine-tuning, merges, hubs como o Hugging Face), esses arquivos são um canal de distribuição de malware tão viável quanto um binário ou um pacote de software, mas com a vantagem de que ninguém audita pesos de rede neural como audita código-fonte.
A técnica explora a simetria de permutação: em uma rede neural, é possível trocar a ordem de neurônios em uma camada (e ajustar a camada seguinte de forma compensatória) sem alterar em nada a função que o modelo calcula. Isso significa que existem múltiplas configurações de pesos matematicamente equivalentes ao modelo original. Do lado do ataque, essa liberdade é suficiente para codificar um payload arbitrário na escolha específica de qual permutação usar -- de forma que a extração da carga maliciosa não precisa de nenhuma informação além do próprio arquivo de pesos, e o processo é reversível sem re-treinamento. Do lado da defesa, o mesmo espaço de simetrias permite "embaralhar" um modelo suspeito para uma permutação aleatória, destruindo qualquer informação codificada -- mas o artigo mostra que métodos anteriores de embaralhamento deixavam uma fração significativa dos pesos sem tocar, ou seja, malware codificado nessa fração sobrevivia à limpeza.
A contribuição central é um método de seleção de permutações que garante o deslocamento de 100% dos parâmetros do modelo, fechando essa lacuna de neutralização incompleta. Os autores quantificam o custo: embora a permutação seja teoricamente sem perdas, o acúmulo de erro numérico em ponto flutuante introduz uma pequena degradação de desempenho, que eles medem como mínima tanto no cenário de ataque quanto no de defesa.
Na prática, isso é relevante para qualquer organização que baixa e reutiliza pesos de modelos de terceiros como parte de uma cadeia de suprimentos de IA -- um cenário cada vez mais comum. Uma rotina de "desinfecção por permutação" aplicada antes de colocar um modelo externo em produção poderia neutralizar esse vetor específico sem exigir re-treinamento completo, funcionando como um equivalente ao escaneamento de binários, mas para pesos de rede neural.