O estudo compara duas arquiteturas hierarquicas homogeneas de agentes autonomos de red team -- planejador e executor ambos baseados em aprendizado por reforco (RL+RL) versus ambos baseados em LLM (LLM+LLM) -- contra defensores automatizados em dois ambientes de simulacao (CybORG e Cyberwheel), em 18 configuracoes. O resultado central e uma inversao dependente do ambiente: RL+RL vence disparado em redes compactas e densamente recompensadas, mas um agente LLM pre-treinado para ciberseguranca vence com folga na rede maior e mais realista, revelando que cada arquitetura trava em um gargalo diferente da cadeia de ataque.
O artigo testa se LLMs congelados, usados em modo zero-shot, conseguem substituir agentes de defesa cibernetica treinados por aprendizado por reforco (RL) -- que ficam presos a rede especifica em que treinaram -- numa hierarquia planejador-executor. Usando o ambiente Cyberwheel com um red team automatizado mapeado ao MITRE ATT&CK, os autores mostram que trocar apenas o planejador por um LLM traz ganho limitado conforme a rede cresce, mas estender o controle do LLM a execucao tatica produz melhorias notaveis para modelos suficientemente capazes -- um modelo geral de 70B mantem movimento lateral bem-sucedido do atacante a cerca de 1% dos passos usando os mesmos pesos em redes pequenas, medias e grandes, sem qualquer retreinamento.
O artigo trata transferencia de politicas entre simuladores de ciberataque -- e tambem para ambientes emulados reais -- como instancias do mesmo problema de alinhamento, propondo separar o alinhamento de estado da traducao de acoes para permitir que uma politica de ataque treinada em um ambiente opere em outro sem retreinamento. Testado entre quatro plataformas (CyberBattleSim, NetSecGame, CyberWheel e NASim, incluindo implantacoes emuladas em maquinas virtuais via NASim), o metodo preserva totalmente o desempenho em ambientes bem alinhados e atinge 45,2% de taxa de vitoria ao transferir politicas cuja performance na origem era de 60,5%.
O framework DDQN-MLP usa um Double Deep Q-Network apenas durante o treinamento, para ponderar dinamicamente a importância de cada amostra com base em perda e confiança de predição, guiando um classificador MLP final que é o único componente mantido em produção. Avaliado com validação cruzada em 2.000 perfis executáveis de 30 famílias de ransomware, o sistema atinge 99,3% de acurácia e mantém robustez sob testes adversariais white-box.
Um cyber range com topologia de rede variável, emulação de red-team e usuários simulados foi usado para comparar agentes heurísticos contra agentes de aprendizado por reforço na tarefa de conter invasores em uma rede minimizando o custo de disponibilidade. Os agentes de RL se mostraram globalmente mais eficientes, mas seu desempenho depende fortemente da estratégia do adversário e do comportamento dos usuários simulados.
O MAL Simulator é um ambiente de simulação de operações cibernéticas construído sobre a Meta Attack Language, que permite adaptar cenários de ataque e defesa a diferentes domínios sem alterar código. Usando dados de um cyber range real, os pesquisadores treinaram agentes ofensivo e defensivo por reforço e constataram que, quando confrontados um contra o outro, o desempenho do defensor caiu significativamente.
Sistemas de defesa cibernética autônoma baseados em Deep Reinforcement Learning são hoje avaliados quase exclusivamente contra agentes vermelhos estáticos e heurísticos, deixando sua robustez contra ameaças adaptativas pouco testada. O Trident, um framework de red-team agêntico baseado em LLM com arquitetura 'código como política', reduziu o desempenho defensivo de agentes azuis em 522% na média usando um único planejador treinável de 7 bilhões de parâmetros, descobrindo autonomamente comportamentos emergentes como evasão de decoys que heurísticas estáticas nunca haviam revelado.
O PISmith aplica aprendizado por reforço ao red teaming de defesas contra injeção de prompt: em vez de testar ataques fixos de catálogo, o sistema gera ataques adaptativos que aprendem a contornar os guardrails do alvo, expondo pontos cegos que o teste manual não alcança.