Estudo mede resistência de defesas adversariais em modelos de AutoML online usados em detecção de intrusão IoT
O trabalho avalia ataques de evasão do tipo caixa-preta contra uma defesa de treinamento adversarial baseada em custo-utilidade, aplicada a aprendizes online (árvores e florestas adaptativas) usados para detecção de anomalias e intrusão em redes IoT. As versões com treinamento adversarial mantiveram acurácia adversarial de até 0,985 com queda de apenas 0,8% em relação à acurácia em dados limpos, no orçamento de custo mais alto testado.
O cenário do estudo é a detecção de anomalias, malware e intrusão em redes de dispositivos IoT usando aprendizado de máquina online — modelos que se atualizam continuamente à medida que novos dados chegam, ao invés de serem treinados uma vez de forma estática (batch). Isso é necessário porque tráfego de IoT muda de padrão ao longo do tempo (desvio de conceito, ou “concept drift”), mas também cria uma superfície de ataque específica: um adversário pode tentar manipular deliberadamente as amostras de entrada para enganar o classificador e evitar detecção, um chamado ataque de evasão.
Os autores testam ataques de evasão caixa-preta — ou seja, sem acesso aos parâmetros internos do modelo, apenas à sua saída — contra cinco famílias de aprendizes online comumente usados em segurança de rede: Hoeffding Tree, Leveraging Bagging, Streaming Random Patches, Hoeffding Adaptive Tree e Adaptive Random Forest. Para cada um, comparam uma versão “ingênua” (sem defesa) com uma versão submetida a treinamento adversarial guiado por uma função de custo-utilidade, que presumivelmente pondera o custo computacional de gerar exemplos adversariais durante o treinamento contra o ganho de robustez obtido, permitindo ajustar um “orçamento” de treinamento adversarial.
Os resultados mostram que a defesa funciona de forma desigual entre os modelos: Leveraging Bagging e Streaming Random Patches, na versão com treinamento adversarial, atingem 0,985 de acurácia adversarial e 0,993 de acurácia em dados limpos no orçamento de custo máximo testado, com degradação de apenas 0,8% — ou seja, quase não pagam o preço de robustez em desempenho normal, o que é o principal problema prático de treinamento adversarial em geral (costuma degradar acurácia em dados benignos). Os autores complementam com detecção de desvio de conceito via EDDM para verificar que a robustez adversarial não compromete a capacidade de adaptação do modelo a mudanças legítimas no tráfego.
Para times que operam pipelines de detecção de intrusão baseados em ML em ambientes IoT — um contexto onde a superfície de dispositivos é grande, heterogênea e frequentemente não corrigida — este trabalho oferece evidência prática de que nem todos os algoritmos de aprendizado online se beneficiam igualmente de treinamento adversarial sob restrição de custo computacional, o que é relevante para IoT porque o orçamento de processamento costuma ser limitado (gateways ou dispositivos de borda). A escolha do algoritmo de base, portanto, não é neutra do ponto de vista de segurança: Leveraging Bagging e Streaming Random Patches parecem oferecer o melhor custo-benefício entre robustez adversarial e overhead de treinamento nesse cenário específico.