Pesquisa mostra que detectores de backdoor por rótulo falham quando avaliados no espaço de features errado
Usando o ataque FLIP — um backdoor que corrompe apenas rótulos de treinamento, sem tocar nas imagens — pesquisadores mostram que a eficácia de uma defesa de detecção depende mais do espaço de features em que ela é aplicada do que do método de detecção em si: a mesma verificação de vizinho mais próximo vai de AUROC 0,546 nas features do modelo já envenenado para 0,967 em features congeladas de um encoder (DINOv2) que nunca viu os rótulos manipulados. O estudo também mostra que uma pontuação de detecção melhor não implica necessariamente um modelo mais seguro após a correção.
O ataque de referência usado, FLIP, ilustra como um backdoor pode ser inserido sem qualquer manipulação de imagem: bastam rótulos de treinamento trocados — no experimento com CIFAR-10, apenas 3% dos rótulos invertidos foram suficientes para fazer um ResNet-32 classificar 99,7% das imagens de uma classe-gatilho na classe escolhida pelo atacante. Como não há padrão visual malicioso para procurar, defesas tradicionais de detecção de poison, que buscam o problema diretamente nas features do modelo já comprometido, partem de uma desvantagem estrutural.
A contribuição metodológica central é um "experimento de troca controlada": os autores mantêm fixos o teste de detecção, os rótulos e a métrica, variando apenas o espaço de features em que o teste é aplicado, e avaliam cada defesa não pela pontuação de detecção isolada, mas retreinando o modelo sobre o que a defesa decide manter. O resultado — a mesma verificação indo de AUROC 0,546 para 0,967 apenas por trocar o espaço de features, sem qualquer outra mudança — demonstra que o "onde" se procura importa tanto ou mais que o "como" se procura.
O estudo também reproduz o SPECTRE, defesa recomendada pelos próprios autores do FLIP, e mostra que ela remove 20% de cada classe inteira para funcionar em um dos pares testados, enquanto uma auditoria baseada em protótipos sobre as features congeladas remove apenas 6% mantendo acurácia limpa maior e menor taxa de sucesso do ataque. Mais contraintuitivo ainda: em um dos pares, o Confident Learning obtém AUROC de detecção maior, mas o modelo resultante, depois de retreinado, apresenta 2,6 vezes mais sucesso de ataque do que a alternativa com pontuação de detecção inferior — ou seja, otimizar para a métrica de detecção pode levar a escolher a defesa pior na prática.
A lição para quem constrói pipelines de detecção de backdoor é dupla: primeiro, validar defesas pelo comportamento do modelo retreinado e não apenas pela métrica de detecção isolada; segundo, considerar deliberadamente a escolha do espaço de features (por exemplo, usando encoders congelados que nunca viram os rótulos potencialmente envenenados) como parte do design da defesa, e não como um detalhe de implementação secundário.