SelfOp: algoritmo faz agentes de segurança baseados em LLM se autoaperfeiçoarem sem retreinar o modelo
O SelfOp otimiza automaticamente o contexto (instruções, skills e documentos de referência) de um agente de segurança baseado em LLM sem alterar os pesos do modelo, propagando um "gradiente textual" do resultado de cada tarefa de volta para as partes do contexto que influenciaram aquele comportamento. No benchmark CyberGym, de reprodução de vulnerabilidades reais, o método gerou ganhos de até 18,5 pontos com menos de 200 exemplos de treino, superando inclusive o modelo de fronteira usado como linha de base.
Melhorar agentes de LLM em tarefas de segurança ofensiva — descoberta de vulnerabilidade, reprodução de exploit, geração de patch — no nível do próprio modelo exige demonstrações de especialista ou recompensas computáveis, ambas escassas nesse domínio: traços de execução são caros de coletar, falhas são difíceis de diagnosticar automaticamente, e o sinal de recompensa costuma ser esparso e não-computável. O SelfOp contorna isso otimizando não o modelo, mas o contexto que envolve um agente congelado — instruções, skills e documentos de referência.
O mecanismo se inspira na regra da cadeia do cálculo: a cada instância de tarefa, o algoritmo propaga o sinal de erro do avaliador para trás, passando pela trajetória do agente até os artefatos de contexto que moldaram aquela ação específica, produzindo um "gradiente textual" por instância. Esses gradientes são então agrupados, ranqueados e filtrados entre múltiplas instâncias, e uma mudança só é de fato incorporada ao contexto quando há consenso entre instâncias diferentes — um mecanismo de robustez que evita que um único caso ruidoso distorça o contexto global. Um detector de convergência monitora o próprio sinal de gradiente para decidir quando parar, dispensando um conjunto de validação separado.
Os resultados no CyberGym, benchmark de reprodução de vulnerabilidades do mundo real, são o ponto mais notável: com menos de 200 exemplos de treino, o SelfOp produziu ganho de 17 pontos para um modelo menor e 18,5 pontos para o modelo principal da mesma família, o suficiente para superar em 6 pontos a linha de base do modelo de fronteira mais forte testado. Mais relevante ainda, as skills otimizadas transferem entre modelos diferentes — evidência de que o ganho captura conhecimento generalizável sobre a tarefa de segurança (por exemplo, um playbook melhor para certa classe de vulnerabilidade), e não um artefato específico do modelo que gerou o gradiente.
Isso importa em dois sentidos que se equilibram: por um lado, baixa a barreira para equipes de segurança replicarem ganhos de desempenho em agentes de pentest e red team sem precisar de infraestrutura de retreinamento; por outro, a mesma técnica de auto-aperfeiçoamento barato a partir de poucos exemplos de sucesso poderia, em tese, ser aplicada por um operador malicioso para otimizar um agente ofensivo próprio — reforçando que ferramentas de otimização de agentes de segurança são de uso duplo por natureza.