SkillDRE automatiza evolução de red team de "skills" maliciosas para agentes de IA, driblando scanners e defesas em runtime
O SkillDRE é um framework de red teaming totalmente automatizado que evolui pacotes de “skills” de agentes — pacotes reutilizáveis de instruções, código e recursos — para que passem tanto por scanners de pré-execução quanto por defesas de runtime, mantendo a funcionalidade legítima da tarefa original. Em testes com quatro modelos-alvo no SkillsBench, o framework atinge 45,28% de taxa média de sucesso de ataque, superando a melhor linha de base em 40,3%, com as skills finais não gerando nenhum alerta do scanner.
Skills de agente — pacotes que combinam instruções em linguagem natural, código executável e recursos específicos de tarefa em um artefato reutilizável — são um mecanismo cada vez mais comum para estender a capacidade de agentes de IA sem reescrever seu núcleo, análogo a plugins ou extensões em outros ecossistemas de software. O artigo parte de uma observação incômoda: o mesmo mecanismo de refinamento por feedback de execução que permite melhorar uma skill legítima também permite a um atacante evoluir uma skill maliciosa, tornando-a progressivamente mais eficaz e mais difícil de detectar, exatamente como um desenvolvedor legítimo itera sobre bugs.
O desafio técnico central que o SkillDRE resolve é a tensão entre duas camadas de defesa que normalmente são avaliadas separadamente: uma skill candidata pode passar pela varredura de pré-execução (análise estática do código e das instruções antes de rodar) mas falhar em atingir seu objetivo malicioso quando confrontada com defesas de runtime (monitoramento durante a execução real); e, inversamente, uma revisão que conserta a execução para escapar da defesa de runtime pode reintroduzir padrões que o scanner estático voltaria a sinalizar. O SkillDRE ataca essa tensão com um laço de feedback de dois estágios: dado uma tarefa benigna e suas skills associadas, o framework constrói e valida de forma autônoma um objetivo malicioso condicionado à tarefa e uma regra de julgamento verificável, mantém esses dois elementos fixos, e evolui apenas a implementação da skill, preservando a capacidade legítima da tarefa original como camuflagem funcional.
O laço combina evolução guiada pelo scanner (ajustando o código/instruções para reduzir sinalizações estáticas) com refinamento guiado por runtime, informado pelos resultados observados sob defesas de execução real; cada revisão guiada por runtime retorna ao estágio de pré-execução para nova varredura e otimização antes de ser executada de novo, formando um ciclo fechado entre os dois estágios de defesa em vez de otimizar contra apenas um de cada vez. Avaliado no SkillsBench contra quatro modelos-vítima, o SkillDRE atinge uma taxa média de sucesso de ataque de 45,28%, superando a melhor linha de base em 40,3 pontos percentuais, e — o dado mais preocupante do ponto de vista defensivo — as skills finais submetidas não recebem nenhuma sinalização do SkillScan, ao mesmo tempo em que preservam em grande medida o desempenho na tarefa benigna original.
A lição central para quem constrói ou avalia defesas de segurança para ecossistemas de skills/plugins de agentes é que testar as duas camadas de defesa isoladamente — como normalmente se faz hoje — pode subestimar seriamente a capacidade de ataque real, porque um adversário adaptativo otimiza contra as duas simultaneamente e explora exatamente a lacuna entre elas. Isso implica que benchmarks e processos de certificação de skills precisam simular o ciclo de feedback completo (scanner + runtime) e não apenas cada defesa isoladamente, e que a própria técnica de red teaming automatizado por feedback dual pode e deve ser reaproveitada pelo lado defensivo, como parte do processo de validação de qualquer skill antes de disponibilizá-la em um marketplace ou repositório de agentes.