Framework usa LLM como consultor durante treinamento de agente de defesa ciberneutica por reforco, descartando o modelo antes da implantacao

Defesa ciberneutica autonoma via aprendizado por reforco enfrenta um problema pratico bem conhecido: o agente defensor precisa decidir acoes de resposta sob observacoes parciais e atrasadas (ele raramente ve o estado completo da rede em tempo real) e a partir de um espaco de acoes potencialmente grande (que host isolar, qual processo matar, qual regra de firewall aplicar), o que torna o treinamento por RL puro muito ineficiente em termos de amostras necessarias para convergir a uma politica boa. Uma solucao intuitiva seria usar um LLM diretamente em producao, aproveitando sua capacidade de raciocinar semanticamente sobre o estado de seguranca descrito em texto, mas isso introduz dois problemas seriose para ambientes de defesa real: latencia de inferencia incompativel com resposta a incidentes em tempo real, e a necessidade de confiar na saida do LLM para uma decisao de seguranca critica em producao.

A solucao proposta pelo framework Ask the Expert evita os dois problemas separando temporalmente o papel do LLM: ele atua apenas durante o treinamento, nunca na implantacao. O processo tem tres etapas -- primeiro, o framework resume estados dificeis de defesa ciberneutica (cenarios complexos onde a politica de RL ainda esta incerta) em uma representacao compacta; segundo, consulta intermitentemente um LLM, atraves de uma interface de acoes restrita (nao uma conversa aberta), pedindo recomendacoes defensivas de nivel de host; terceiro, transforma essas recomendacoes em uma estrutura de recompensa escalonada (tiered reward shaping) que e entao usada para treinar a politica via PPO (Proximal Policy Optimization, um algoritmo padrao de RL). Como o LLM so e consultado durante o treinamento e sua saida vira apenas um sinal de recompensa adicional -- nao uma acao executada diretamente --, qualquer erro ou recomendacao ruim do LLM tem impacto limitado e mediado pelo processo normal de aprendizado por reforco, em vez de se propagar diretamente para uma acao real no ambiente.

Os autores chamam esse design de 'assimetrico' porque o LLM participa pesadamente de uma fase (treinamento) e esta completamente ausente da outra (implantacao) -- a politica final e 'pura RL', sem qualquer chamada a LLM, latencia de API ou dependencia externa durante operacao real. Essa escolha de design e o que torna a abordagem viavel para defesa ciberneutica em producao, onde dependencia de um servico de LLM externo seria inaceitavel tanto por latencia quanto por superficie de ataque adicional (um LLM em linha de producao poderia, em tese, ser alvo de manipulacao via prompt injection vindo do proprio trafego de rede sendo analisado).

Nos ambientes de benchmark TTCP CAGE CC1 e CC2 (ambientes de referencia para pesquisa em defesa ciberneutica autonoma, simulando ataques e cenarios de rede), contra ambos os tipos de atacante avaliados, o metodo melhorou a eficiencia amostral em relacao ao PPO sem orientacao e superou os baselines de reward shaping baseado em potencial (PBRS, uma tecnica classica de RL para acelerar convergencia), mantendo o melhor desempenho terminal medio entre os metodos comparados. O resultado pratico relevante para quem pesquisa ou constroi sistemas de defesa automatizada e que a capacidade semantica de LLMs pode ser aproveitada como um acelerador de treinamento sem herdar seus riscos de seguranca e latencia na politica final implantada -- um padrao de design (LLM-no-loop durante treinamento, ausente em producao) que pode ser aplicavel a outros dominios de seguranca onde chamadas de LLM em linha seriam inviaveis.