Benchmark de IDS para IoT expõe que boa parte da "alta acurácia" reportada na literatura vem de atalhos do dataset, não do ataque em si
Um estudo forense avalia se sistemas de detecção de intrusão baseados em aprendizado de máquina para IoT realmente aprendem comportamento de ataque generalizável ou apenas exploram atalhos espúrios do dataset, como IPs/MACs estáticos de bancada de teste e artefatos cronológicos de captura. Usando divisões que respeitam a separação por sessão PCAP, o recall de um ataque de DNS beaconing despenca de 27,78% para 0,00% quando features contextuais são removidas, e uma divisão aleatória tradicional (não disjunta por sessão) infla o recall em até 14 pontos percentuais frente à divisão correta.
Fonte ↗