Fusão de assinatura espectral e clustering de ativações detecta backdoors em modelos de imagem médica com AUROC acima de 0,99
Pesquisadores combinaram duas técnicas já estabelecidas de detecção de backdoor — análise de assinatura espectral e clustering de ativações — em um único score de poisoning por amostra, aplicado a modelos de imagem médica usados em apoio diagnóstico. A fusão atinge AUROC igual ou superior a 0,99 em todas as taxas de poisoning testadas no benchmark médico, mas os próprios autores mostram que o mesmo método falha de forma severa em imagens naturais (CIFAR-10) sob poisoning mais agressivo, um alerta importante sobre generalização de defesas de segurança de ML entre domínios.
Ataques de poisoning em tempo de treinamento — nos quais um atacante contamina uma fração dos dados de treino para implantar um gatilho que força uma classificação incorreta específica — são um risco reconhecido em diretrizes setoriais de segurança para saúde, e políticas federais já direcionam ferramentas de detecção de vulnerabilidade de IA para operadores de infraestrutura crítica, incluindo hospitais rurais. O problema prático que este trabalho ataca é que dois métodos de detecção consolidados na literatura, análise de assinatura espectral e clustering de ativações, normalmente são avaliados como baselines independentes, raramente combinados, e o desempenho relatado de qualquer um dos dois especificamente em imagem médica ainda é escasso comparado ao que existe para imagem natural.
A contribuição técnica central é uma regra de fusão em nível de score: em vez de tratar o ranking espectral por classe e as sinalizações de clustering de ativação como dois veredictos separados, os autores combinam os dois em um único score de poisoning por amostra, complementado por uma estatística de concordância em nível de modelo, dentro de um pipeline aberto de oito estágios cujo código foi publicado no GitHub. O resultado no benchmark de imagem médica é notavelmente forte — AUROC ≥ 0,99 em toda taxa de poisoning testada (1%, 5% e 10%, com cinco sementes aleatórias cada) —, sugerindo que a estrutura mais regular e homogênea de imagens médicas favorece esse tipo de sinal combinado.
O dado mais valioso do artigo, no entanto, é justamente onde o método falha: ao repetir o mesmo experimento em CIFAR-10 (imagens naturais), a 10% de poisoning o clustering de ativações colapsa para taxa de detecção zero e a assinatura espectral degrada para AUROC próximo do acaso (0,545), apesar de o ataque ter instalado o backdoor com 97,2% de taxa de sucesso confirmada — ou seja, o backdoor estava presente e funcional, mas ambos os detectores, e a fusão dos dois, falharam silenciosamente em sinalizá-lo. Isso é uma demonstração empírica de que uma defesa de ML validada em um domínio não deve ser assumida como robusta em outro sem revalidação explícita.
Para equipes de segurança em saúde, o valor prático é duplo: por um lado, há evidência concreta de que essa fusão específica funciona muito bem no domínio de imagem médica, o que é raro de se ver documentado com esse rigor experimental; por outro, o próprio artigo é a melhor evidência disponível de que a mesma ferramenta não deve ser exportada sem testes para outros domínios de imagem, e que reportar resultados na linguagem já usada por times de conformidade (NIST AI RMF, MITRE ATLAS) é o que torna esse tipo de achado tecnicamente acionável fora do meio puramente acadêmico.