Framework de transferencia permite que agentes de ataque cibernetico treinados em um simulador operem em outro sem retreino
O artigo trata transferencia de politicas entre simuladores de ciberataque -- e tambem para ambientes emulados reais -- como instancias do mesmo problema de alinhamento, propondo separar o alinhamento de estado da traducao de acoes para permitir que uma politica de ataque treinada em um ambiente opere em outro sem retreinamento. Testado entre quatro plataformas (CyberBattleSim, NetSecGame, CyberWheel e NASim, incluindo implantacoes emuladas em maquinas virtuais via NASim), o metodo preserva totalmente o desempenho em ambientes bem alinhados e atinge 45,2% de taxa de vitoria ao transferir politicas cuja performance na origem era de 60,5%.
Agentes de ataque cibernetico sao tipicamente treinados e avaliados dentro de um unico simulador. Como simuladores diferem substancialmente em representacao de estado, modelo de observacao e espaco de acoes, nao esta claro se uma politica de ataque aprendida generaliza para alem do ambiente em que foi desenvolvida -- limitacao que afeta tanto a implantacao real quanto a comparacao justa entre resultados de pesquisas diferentes.
Os autores enquadram transferencia sim-to-sim e sim-to-real como instancias do mesmo problema de alinhamento, e propoem separar o alinhamento de estado (mapear a representacao de estado de um ambiente para outro) da traducao de acoes (mapear as acoes escolhidas pela politica para o espaco de acoes do ambiente de destino), permitindo que uma politica treinada em um simulador opere em outro diferente sem retreinamento.
A avaliacao cobre transferencia entre quatro plataformas de ciberseguranca (CyberBattleSim, NetSecGame, CyberWheel e NASim), incluindo implantacoes emuladas em maquinas virtuais via NASim. Transferencia zero-shot se mostra viavel, preservando totalmente o desempenho da politica de origem em ambientes bem alinhados, e atingindo 45,2% de taxa de vitoria ao transferir politicas cuja performance na origem era de 60,5%. Em ambientes de maquina virtual emulados, as politicas transferidas exibem divergencia de Jensen-Shannon de apenas 0,085 em relacao a politicas treinadas nativamente, indicando forte similaridade comportamental.
Isso ataca diretamente o gargalo pratico de usar agentes de ciberataque treinados por RL como ferramenta de seguranca ofensiva -- red teaming, teste de intrusao automatizado, emulacao de adversario: se uma politica de ataque precisa ser retreinada do zero para cada representacao de rede-alvo, a ferramentagem ofensiva baseada em RL fica confinada ao simulador em que foi construida. Uma decomposicao de alinhamento de estado e traducao de acoes que funciona mesmo em ambientes de maquina virtual emulados e um passo relevante rumo a agentes de ataque que sao infraestrutura portavel, nao artefatos de pesquisa de uso unico -- o que tem duas faces para quem defende redes, ja que tambem reduz o custo de engenharia para construir capacidade ofensiva transferivel.