MaliciousSkillBench expõe o quanto os detectores atuais falham contra "skills" maliciosas para agentes de IA
Pesquisadores consolidaram 13 fontes públicas para criar o MaliciousSkillBench, um benchmark com 9.740 "Agent Skills" (pacotes de instruções, scripts e configurações reutilizáveis que estendem agentes de LLM), sendo 7.505 maliciosas. O resultado mostra que os melhores detectores atuais, embora pontuem bem em avaliação aleatória, despencam quando testados contra skills de fontes nunca vistas — um dos melhores modelos manteve 95,6% de detecção maliciosa mas gerou 62,4% de falsos positivos em skills benignas.
"Agent Skills" são pacotes reutilizáveis de instruções — e, muitas vezes, também scripts e configurações de serviço — que estendem o que um agente de LLM consegue fazer. Isso é conveniente para quem desenvolve agentes, mas cria um canal de distribuição direto para comportamento malicioso: uma skill pode conter instruções que induzem o agente a exfiltrar dados, executar código arbitrário ou contornar guardrails, e o usuário que instala a skill normalmente não tem como auditar isso manualmente.
O problema, segundo os autores, é que os datasets existentes de skills maliciosas eram fragmentados demais para permitir avaliação confiável: fontes diferentes, formatos de artefato diferentes, regimes de evidência diferentes e cobertura desigual de exemplos benignos. O MaliciousSkillBench consolida 13 fontes públicas, reduz 8.414 registros brutos maliciosos a 7.539 identidades normalizadas e únicas (agrupadas em 4.588 famílias estruturais), chegando a um benchmark final de 9.740 skills — 7.505 maliciosas e 2.235 benignas — com 11 categorias de ataque harmonizadas entre as fontes.
O resultado mais relevante está na avaliação "source-disjoint" (testando contra fontes que o detector nunca viu durante o treino): detectores aprendidos que alcançam de 0,882 a 0,932 de F1-macro em avaliação aleatória caem para 0,653-0,665 quando a fonte de teste é desconhecida. O melhor classificador (um SVM sobre TF-IDF de palavras) mantém alta cobertura contra skills maliciosas (95,6% de recall) mas às custas de 62,4% de falsos positivos em skills legítimas nesse cenário — ou seja, na prática, ou o detector deixa passar ataques novos, ou bloqueia a maioria das skills boas. Scanners prontos para uso têm o mesmo dilema, apenas deslocado: reduzem falsos positivos às custas de detectar muito menos ataques reais.
Isso importa porque marketplaces de skills e plugins para agentes de IA estão crescendo rapidamente, e este trabalho sugere que a detecção automática de conteúdo malicioso nesse ecossistema ainda está longe de ser confiável quando confrontada com ataques de fontes novas — justamente o cenário mais realista de ameaça, já que atacantes não vão publicar skills maliciosas nas mesmas fontes já usadas para treinar os detectores. Times que avaliam ecossistemas de skills/plugins de agentes deveriam tratar detecção automatizada como uma camada a mais, não como garantia suficiente.