Agente de reforco aprende a evadir sistemas de deteccao de intrusao baseados em ML mesmo com visibilidade limitada da defesa
Pesquisadores treinaram um agente de Deep Q-Network para aprender combinacoes evasivas de timing de probes, flags TCP e tamanho de payload contra um IDS real baseado em Zeek rodando em um Raspberry Pi 3B+, com deteccao por XGBoost, MLP e CNN 1D. Mesmo em cenario black-box, onde o atacante nao ve os parametros internos do modelo defensivo, as taxas de evasao alcancaram entre 61,9% e 98,3%, e o efeito da visibilidade de features sobre a evasao nao foi monotonico nem uniforme entre os modelos.
O estudo ataca uma lacuna metodologica comum em avaliacoes de seguranca de sistemas de deteccao de intrusao (IDS) baseados em aprendizado de maquina: a maioria dos testes de robustez usa ataques estaticos, gerados uma vez e aplicados sem adaptacao, quando o adversario real em producao pode observar o resultado de suas tentativas (foi bloqueado ou nao) e ajustar sua estrategia ao longo do tempo. Para simular esse adversario adaptativo de forma realista, os autores implementaram um pipeline de IDS completo baseado no Zeek, rodando efetivamente em hardware de borda (um Raspberry Pi 3B+, representativo de gateways IoT), com tres modelos de deteccao distintos treinados no dataset TON_IoT: XGBoost, um perceptron multicamadas e uma rede convolucional 1D.
O atacante e modelado como um agente de Deep Q-Network (DQN), uma tecnica de aprendizado por reforco que aprende, por tentativa e erro, qual combinacao de acoes maximiza uma recompensa -- nesse caso, evitar deteccao enquanto ainda executa um port scan funcional. As acoes disponiveis ao agente incluem variar o timing entre pacotes de sondagem, escolher diferentes flags TCP e ajustar o tamanho do payload, parametros que um operador de rede real tambem pode manipular ao configurar uma ferramenta de scanning. Os autores testam tres niveis de visibilidade do agente sobre o sistema de defesa -- black-box (sem acesso a internals do modelo), gray-box (visibilidade parcial) e white-box (acesso completo as features usadas pelo classificador) -- para entender como o conhecimento do atacante sobre a defesa afeta sua capacidade de evadi-la.
O resultado mais contraintuitivo e tambem o mais importante para quem defende esses sistemas: mais visibilidade sobre as features do modelo defensivo nao torna a evasao sistematicamente mais facil, e o efeito depende fortemente de qual modelo esta sendo atacado. Contra o XGBoost, paradoxalmente, o agente com menos informacao (black-box) obteve a maior taxa de evasao (92,9%), superando os agentes gray-box (61,9%) e white-box (76,9%) -- um padrao que sugere que o excesso de informacao pode levar o agente a otimizar demais para padroes especificos do modelo, perdendo generalizacao. Ja contra a CNN 1D, o cenario se inverteu: o acesso white-box foi o mais eficaz, atingindo 98,1% de evasao. Os autores tambem verificaram, com Double DQN, que a instabilidade observada no cenario gray-box nao se explica simplesmente por sobreestimativa de valores de acao, tipica do DQN padrao, deixando a causa exata como questao aberta.
Na pratica, esse resultado tem implicacao direta para quem opera IDS de borda em ambientes IoT: a suposicao comum de que 'esconder os detalhes do modelo de deteccao' (seguranca por obscuridade) reduz risco de evasao adaptativa nao se sustenta de forma geral -- em alguns casos ela ate piora a situacao ao forcar o atacante a uma estrategia mais generica e eficaz. Isso reforca que defesas de IDS baseadas em ML precisam de robustez intrinseca contra adaptacao do adversario (por exemplo, deteccao de drift de comportamento, re-treinamento continuo ou ensemble de modelos heterogeneos) em vez de depender apenas de limitar o acesso do atacante aos parametros do modelo.