Estudo encontra falha de medição em benchmarks de defesa contra backdoors em modelos de IA
Pesquisadores mostram que o BackdoorBench, referência popular para avaliar defesas contra ataques de backdoor em modelos de visão, mede o custo de remoção de forma enviesada: a queda de acurácia é calculada só sobre o modelo já envenenado, misturando o efeito da defesa com falhas de configuração do próprio ataque original, como um agendador de taxa de aprendizado que nunca é acionado em três dos dezesseis ataques do benchmark. Os autores propõem o TARE, que mede o custo real comparando a defesa contra um modelo gêmeo que nunca foi envenenado, revelando que defesas até então consideradas "sem custo" na verdade degradam modelos limpos.
Ataques de backdoor em modelos de aprendizado de máquina — em que um modelo se comporta normalmente na maioria dos casos, mas produz uma saída controlada pelo atacante quando recebe um gatilho específico — são um dos problemas centrais de segurança de IA, e avaliar a eficácia das defesas contra eles depende de benchmarks padronizados como o BackdoorBench. O problema identificado pelos autores é metodológico, mas com consequências práticas diretas: a métrica usual de "custo de remoção" é a queda de acurácia limpa medida só no modelo vítima (já envenenado), o que impede separar o que é efeito genuíno da defesa removendo o backdoor do que é simplesmente o ponto de partida ruim herdado de uma configuração de treinamento falha do ataque original.
Os autores encontraram, por exemplo, que três dos dezesseis ataques do BackdoorBench (WaNet, BPP e Input-Aware) usam um agendador de taxa de aprendizado (MultiStepLR) que nunca dispara, deixando os modelos vítimas sub-treinados e artificialmente menos precisos em 30 de 31 células públicas do CIFAR testadas, com no máximo 5% de margem. Isso significa que qualquer defesa aplicada a esses modelos recebe crédito por 'melhorar' a acurácia simplesmente porque o ponto de partida estava mal configurado, não porque removeu o backdoor com eficácia. Em modelos com defesas da família de fine-tuning, esse efeito chega a inverter o sinal do custo reportado: o 'ganho' publicado em alguns papers vem de aplicar a defesa num modelo nunca envenenado, ou seja, não é uma medida real do custo de remoção do backdoor.
A correção proposta, TARE, é metodologicamente simples: rodar a mesma defesa num 'gêmeo' do modelo vítima que segue a mesma receita de treino, agendamento e seed, mas que nunca foi envenenado. O que esse gêmeo perde de acurácia ao passar pela defesa é a 'tara' (tare) — o custo intrínseco da defesa, isolado do efeito de remoção do backdoor. Replicando esse experimento em sete de oito defesas na grade de ataque BadNets, os autores encontram custos reais de +0,13 a +5,70 pontos de acurácia perdidos mesmo em modelos nunca envenenados, com uma defesa (ABL) chegando a destruir completamente o modelo gêmeo limpo.
Na prática, esse tipo de achado é importante porque tabelas de benchmark de segurança são usadas por pesquisadores e por quem decide quais defesas adotar em produção; se a métrica publicada mistura artefatos de configuração do ataque com o custo real da defesa, decisões de adoção podem ser tomadas com base em números que não refletem a realidade. Os autores identificam que ao menos dois artigos que citam essas defesas se apoiam em células de benchmark cujo 'custo zero' é, na realidade, um artefato de medição — um recado direto para quem usa benchmarks de segurança de IA como critério de comparação sem auditar as condições experimentais subjacentes.