Comparacao entre agentes de red team baseados em RL e em LLM mostra que a arquitetura vencedora depende do tamanho da rede
O estudo compara duas arquiteturas hierarquicas homogeneas de agentes autonomos de red team -- planejador e executor ambos baseados em aprendizado por reforco (RL+RL) versus ambos baseados em LLM (LLM+LLM) -- contra defensores automatizados em dois ambientes de simulacao (CybORG e Cyberwheel), em 18 configuracoes. O resultado central e uma inversao dependente do ambiente: RL+RL vence disparado em redes compactas e densamente recompensadas, mas um agente LLM pre-treinado para ciberseguranca vence com folga na rede maior e mais realista, revelando que cada arquitetura trava em um gargalo diferente da cadeia de ataque.
Agentes autonomos de red team sao cada vez mais usados para testar a resiliencia de defesas ciberneticas apoiadas em IA, planejando estrategia e executando ataques em multiplas etapas. Aprendizado por reforco (RL) e LLMs oferecem mecanismos complementares para planejamento e execucao, e trabalhos anteriores ja combinaram os dois em hierarquias hibridas -- mas tipicamente desenvolvidos e avaliados dentro de um unico ambiente, deixando em aberto se uma vantagem observada reflete um mecanismo de decisao genuinamente mais forte ou apenas um alinhamento casual com aquele cenario especifico.
O estudo faz uma comparacao controlada entre as arquiteturas homogeneas RL+RL e LLM+LLM contra defensores autonomos especialistas, usando o CybORG CAGE-4 e o Cyberwheel em duas escalas de rede, totalizando 18 configuracoes avaliadas sob uma metrica unificada de disrupcao. Uma analise de kill chain decompoe de onde exatamente vem a taxa de sucesso agregada de cada arquitetura, em vez de tratar o numero final como uma caixa-preta.
Os resultados mostram uma inversao marcante: RL+RL vence disparado na rede compacta CAGE-4 (78,5% contra 18,0% da melhor configuracao LLM) e na rede Cyberwheel de 100 hosts (81,0% contra 50,5%), mas um agente LLM pre-treinado para ciberseguranca vence com folga na rede Cyberwheel maior, de 1010 hosts com escalonamento condicionado (55,0% contra 0,0% do RL). A analise de kill chain explica a inversao: na rede grande, o RL descobre e compromete hosts mas trava especificamente na escalada de privilegios, enquanto na rede pequena os agentes LLM obtem acesso privilegiado mas raramente convertem isso em impacto operacional.
Para quem constroi ou avalia agentes de red-teaming e pentest assistidos por IA, isso e um alerta concreto contra assumir que uma arquitetura generaliza: um design que domina em um benchmark de escala de laboratorio pode falhar completamente ao ser transferido para uma rede maior e mais realista, e a falha e especifica de cada arquitetura (RL falha na escalada, LLM falha em converter acesso em impacto), nao uma lacuna uniforme de capacidade -- o que sugere que designs hibridos devem ser escolhidos para corrigir um gargalo conhecido, e nao sob a suposicao de que uma arquitetura e simplesmente melhor.