Trident usa agente de LLM para quebrar defesas cibernéticas autônomas baseadas em aprendizado por reforço
Sistemas de defesa cibernética autônoma baseados em Deep Reinforcement Learning são hoje avaliados quase exclusivamente contra agentes vermelhos estáticos e heurísticos, deixando sua robustez contra ameaças adaptativas pouco testada. O Trident, um framework de red-team agêntico baseado em LLM com arquitetura 'código como política', reduziu o desempenho defensivo de agentes azuis em 522% na média usando um único planejador treinável de 7 bilhões de parâmetros, descobrindo autonomamente comportamentos emergentes como evasão de decoys que heurísticas estáticas nunca haviam revelado.
O problema de fundo é uma lacuna de avaliação: sistemas de defesa cibernética autônoma treinados por reforço profundo (DRL) são tipicamente validados contra agentes atacantes estáticos e baseados em heurísticas fixas, um padrão de teste que não reflete um adversário real capaz de se adaptar à defesa específica que está enfrentando. Ao mesmo tempo, avanços recentes em reforço com recompensas verificáveis (RLVR) melhoraram o raciocínio de LLMs, mas faltavam ambientes de benchmark e datasets de interação adequados para aplicar essas técnicas a cibersegurança ofensiva de forma realista.
O Trident endereça essa lacuna com três componentes: um benchmark dinâmico com servidores sandbox isolados cobrindo os ambientes CybORG CAGE 4 e CyberWheel (padrões de pesquisa em defesa cibernética autônoma), um dataset com mais de 13 mil trajetórias de interação ataque-defesa de alta fidelidade para treinamento RLVR, e uma arquitetura agêntica chamada "Código como Política", que reformula o treinamento do agente atacante como um problema de bandit contextual usando um design tripartite: um sumarizador de logs que comprime a execução, um planejador treinável que gera estratégias de ataque completas a partir desses logs comprimidos, e um codificador congelado que traduz essas estratégias em políticas Python executáveis, implantadas contra defensores DRL reais e ativos.
O resultado central — redução de 522% no desempenho defensivo médio do agente azul usando um único planejador treinável de apenas 7 bilhões de parâmetros — é significativo porque mostra que defesas DRL consideradas robustas contra os agentes vermelhos estáticos usados em sua própria validação de pesquisa colapsam diante de um adversário que aprende a explorar especificamente aquela defesa. Mais revelador ainda é que o Trident descobriu autonomamente comportamentos emergentes como evasão de decoys (iscas de detecção) e priorização adaptativa de estado — táticas que heurísticas artesanais de red-team simplesmente nunca haviam contemplado, porque exigem entender e explorar as particularidades internas da política de defesa aprendida.
A implicação prática é dupla: primeiro, qualquer sistema de defesa cibernética autônoma baseado em DRL que hoje é avaliado só contra red-teams estáticos deve ser considerado não testado contra o padrão de ameaça mais relevante — um atacante que também usa aprendizado adaptativo; segundo, o próprio framework Trident, ao demonstrar essa capacidade de forma reprodutível com um dataset e benchmark abertos, baixa a barreira para que outros grupos repliquem esse tipo de ataque adaptativo contra defesas DRL de produção, o que deveria acelerar a adoção de avaliação adversarial adaptativa como padrão mínimo antes de colocar um defensor autônomo baseado em RL em ambiente real.