Estudo encontra falha de medição em benchmarks de defesa contra backdoors em modelos de IA
Pesquisadores mostram que o BackdoorBench, referência popular para avaliar defesas contra ataques de backdoor em modelos de visão, mede o custo de remoção de forma enviesada: a queda de acurácia é calculada só sobre o modelo já envenenado, misturando o efeito da defesa com falhas de configuração do próprio ataque original, como um agendador de taxa de aprendizado que nunca é acionado em três dos dezesseis ataques do benchmark. Os autores propõem o TARE, que mede o custo real comparando a defesa contra um modelo gêmeo que nunca foi envenenado, revelando que defesas até então consideradas "sem custo" na verdade degradam modelos limpos.
Fonte ↗