Agentes de aprendizado por reforço superam regras heurísticas na resposta automática a incidentes de rede
Um cyber range com topologia de rede variável, emulação de red-team e usuários simulados foi usado para comparar agentes heurísticos contra agentes de aprendizado por reforço na tarefa de conter invasores em uma rede minimizando o custo de disponibilidade. Os agentes de RL se mostraram globalmente mais eficientes, mas seu desempenho depende fortemente da estratégia do adversário e do comportamento dos usuários simulados.
O ambiente de teste é um cyber range originalmente pensado para treinamento de operadores humanos, adaptado para avaliar agentes automatizados de resposta a incidentes. Ele emula uma rede com topologia que pode variar, um red-team automatizado agindo como adversário e agentes de usuário simulados gerando tráfego legítimo de fundo -- um detalhe importante, porque um agente defensivo bom precisa diferenciar atividade maliciosa de uso normal, não apenas bloquear tudo que pareça suspeito.
Os alertas de segurança são produzidos por uma plataforma SIEM e traduzidos para uma linguagem de modelagem de dados que os agentes conseguem consumir. Dois tipos de agentes defensivos são comparados: políticas heurísticas, baseadas em regras fixas definidas por especialistas, e políticas de aprendizado por reforço, treinadas usando um simulador de ataque cibernético que modela os custos combinados de segurança (deixar o invasor avançar) e disponibilidade (bloquear hosts legítimos por engano).
O resultado central é que os agentes de RL superaram a política heurística na tarefa de impedir que o red-team alcance os hosts-alvo, mantendo custo de disponibilidade competitivo. Isso é relevante porque mostra que abordagens aprendidas conseguem capturar trade-offs de contenção-vs-disponibilidade que são difíceis de codificar manualmente em regras estáticas -- um heurístico fixo tende a ser conservador demais ou permissivo demais, enquanto a política aprendida se adapta ao padrão observado de alertas.
A ressalva importante, e que os próprios autores destacam, é que o desempenho do defensor depende muito da política do adversário e dos padrões dos usuários simulados: não existe uma solução universal treinada uma vez que funcione bem contra qualquer atacante. Isso tem implicação prática direta para quem considera automatizar resposta a incidentes com RL em produção -- a robustez contra adversários fora da distribuição de treinamento continua sendo o gargalo, e times de segurança que adotarem esse tipo de agente precisam continuar testando contra táticas de ataque não vistas em treino antes de confiar decisões de contenção automatizadas à IA.