SkillSecurer encontra vulnerabilidades reais de prompt injection em mais de 17% das skills publicadas para agentes de IA
O SkillSecurer é um framework agentic de ponta a ponta para gerar, detectar, localizar e corrigir riscos de segurança em "agent skills", combinando um agente vermelho que gera injeções contextualmente plausíveis com um agente azul que analisa pacotes completos e propõe correções. Aplicado a skills reais publicadas no marketplace skills.sh, o framework identificou vulnerabilidades latentes em mais de 17% das skills examinadas e chegou a disparar incidentes reais ao testar algumas delas, evidenciando o risco concreto de instalar skills não verificadas.
Agent skills estendem agentes de IA com instruções, scripts e arquivos de configuração reutilizáveis, funcionando como plugins de terceiros — e, como qualquer ecossistema de plugins, criam uma superfície nova para influenciar as decisões e ações do agente hospedeiro sem que o usuário perceba. O SkillSecurer ataca esse problema com uma arquitetura de dois agentes: um "agente vermelho" que gera injeções de prompt compatíveis com o contexto de cada skill, cobrindo nove tipos diferentes de ameaça, sempre registrando a modificação exata introduzida para permitir avaliação controlada; e um "agente azul" que analisa o pacote completo da skill, produz evidência fundamentada do problema encontrado e propõe um patch de remediação.
A parte mais interessante metodologicamente é o verificador: para as instâncias em que a injeção foi controlada pelos próprios pesquisadores, um componente separado compara os achados e patches do agente azul com a injeção originalmente registrada pelo agente vermelho, permitindo avaliar precisão e recall em nível de injeção individual, e não apenas se a skill como um todo foi sinalizada como suspeita ou não. Com o backend de LLM de melhor desempenho, o SkillSecurer alcançou 100% de taxa de detecção de injeção nesse cenário controlado.
O resultado que sai do laboratório para o mundo real vem da aplicação do framework a skills populares já publicadas no marketplace skills.sh: os pesquisadores encontraram vulnerabilidades latentes em mais de 17% das skills examinadas, e ao testar algumas delas de forma prática, conseguiram efetivamente disparar incidentes reais — não apenas identificar um padrão de código suspeito, mas demonstrar exploração funcional contra skills que usuários reais já poderiam ter instalado em seus agentes.
Isso reforça um ponto que a comunidade de segurança de agentes vem repetindo: a curadoria de marketplaces de skills hoje está muito atrás da maturidade que ecossistemas de pacotes tradicionais (npm, PyPI) levaram anos para construir, e mais de um em cada seis pacotes com problema real é uma taxa de prevalência alta o suficiente para justificar que usuários tratem a instalação de skills de terceiros com o mesmo ceticismo que hoje aplicam, ou deveriam aplicar, a dependências de software desconhecidas.