Benchmark de IDS para IoT expõe que boa parte da "alta acurácia" reportada na literatura vem de atalhos do dataset, não do ataque em si

Sistemas de detecção de intrusão de rede (NIDS) baseados em aprendizado de máquina para dispositivos IoT costumam reportar acurácia quase perfeita em benchmarks acadêmicos, um número que historicamente não se traduz em desempenho equivalente em produção. O artigo investiga sistematicamente por que, aplicando uma metodologia forense ao benchmark CyberFlowIoT-GICAP (3,6 milhões de registros de fluxo, 126 sessões PCAP, 849 mil fluxos benignos), testando quatro paradigmas de aprendizado sob quatro configurações de features e usando divisões treino/teste que respeitam a separação por sessão de captura (PCAP-disjoint), em vez da divisão aleatória tradicional que mistura fluxos da mesma sessão entre treino e teste.

O primeiro achado é sobre o que de fato orienta o desempenho: quando apenas comportamento estatístico de fluxo é usado como feature (sem timestamp bruto nem endereço), LightGBM, Random Forest e MLP profundo convergem para um Macro-F1 quase idêntico (~92,5%), independentemente da complexidade do modelo — evidência de que o teto de desempenho é definido pela representação de feature escolhida, não pela sofisticação do algoritmo. Quando timestamps brutos entram na equação, modelos baseados em árvore saltam para 99,28% de Macro-F1 enquanto o modelo linear fica em 90,62%, o que expõe que modelos não lineares estão explorando estrutura temporal específica daquele dataset de bancada (quando cada tipo de tráfego foi capturado), e não um padrão de ataque generalizável.

O caso mais gritante é o ataque de DNS beaconing: seu recall cai de 27,78% para 0,00% quando as features contextuais (que carregam esses atalhos espúrios) são removidas — ou seja, o modelo não estava detectando o padrão comportamental do beaconing, estava memorizando metadados incidentais da captura que coincidiam com aquele rótulo naquele dataset específico. Em contraste, ataques de alta taxa e ativos mantêm recall acima de 99,8% mesmo só com comportamento de fluxo, mostrando que a fragilidade não é uniforme: ela se concentra em ataques sutis e de baixa taxa, justamente os mais difíceis (e mais importantes) de detectar em produção.

O artigo fecha com um checklist de quatro pontos para avaliação realista de NIDS em IoT, e o recado central para quem opera ou avalia produtos comerciais de detecção baseados em ML é direto: uma divisão aleatória convencional de treino/teste infla o recall reportado em até 14 pontos percentuais frente a uma divisão disjunta por sessão, então números de acurácia de papers ou marketing de produto que não deixam claro o método de split devem ser tratados com ceticismo, especialmente para as classes de ataque mais furtivas.