GrayShield neutraliza canais encobertos nos bits menos significativos de pesos de modelos Transformer sem precisar de dados
Pesquisadores demonstram que os bits menos significativos (LSBs) dos pesos de ponto flutuante de 32 bits em modelos Transformer como BERT e ViT podem ser usados como canal encoberto para esconder payloads maliciosos na cadeia de suprimentos de modelos de IA, e propõem o GrayShield, um metodo de sanitizacao pos-treinamento que elimina esse canal sobrescrevendo os bits com uma sequencia guiada por codigo Gray. A tecnica reduz a recuperacao do payload a nivel de chance binaria, com impacto de acuracia inferior a 1% e menor distorcao na distribuicao dos pesos do que as defesas alternativas avaliadas.
Fonte ↗