SkillAtlas: biblioteca pública reúne mais de 3 mil casos reais de ataques contra skills de agentes de IA
Pesquisadores lançaram o SkillAtlas, um repositório público que converte relatórios confidenciais de segurança sobre "agent skills" em casos revisados, redigidos e pesquisáveis. A base já reúne 3.014 casos, 6.589 traces de execução e 151 mil passos individuais, cobrindo 233 skills afetadas em 8 categorias de risco, tornando visível um tipo de incidente que normalmente fica restrito a relatórios privados de fornecedores.
Agent skills são pacotes reutilizáveis de instruções, scripts e configuração que estendem o que um agente de IA consegue fazer — o equivalente a plugins para LLMs. O problema de segurança que o SkillAtlas ataca é estrutural: o risco de uma skill não está numa assinatura de código estática nem se revela necessariamente numa única execução em sandbox, porque ele emerge da combinação entre decisões do modelo, contexto fornecido pelo usuário, chamadas de ferramentas e o feedback que o agente recebe durante a execução. Isso torna avaliações estáticas e testes de benchmark insuficientes, e explica por que a maior parte do conhecimento sobre esses ataques hoje fica preso em relatórios privados de segurança que nunca circulam publicamente.
O SkillAtlas resolve isso não com uma nova técnica de detecção, mas com curadoria: os autores pegaram bundles privados de relatórios de segurança sobre skills, removeram informações sensíveis e organizaram o resultado como estudos de caso públicos, pesquisáveis e reutilizáveis por outros pesquisadores. O achado mais interessante do dataset é comportamental — 42,5% dos casos que eventualmente tiveram sucesso não funcionaram na primeira tentativa, ou seja, o ataque precisou de uma rodada de "aquecimento" ou ajuste antes de comprometer o agente, um padrão que ferramentas de avaliação single-shot tendem a não capturar.
Os autores também mostram valor prático direto: usar rótulos fundamentados na trajetória completa de execução (e não apenas no resultado final) melhora a acurácia de guardrails de pré-execução para 0,770, uma métrica que embora esteja longe de perfeita, indica que sistemas de defesa treinados com esse tipo de dado rico em contexto superam abordagens baseadas só em classificação de prompt ou de saída final.
Para equipes que hoje avaliam se devem instalar skills de terceiros em seus agentes — um cenário cada vez mais comum com o crescimento de marketplaces como o skills.sh —, o valor do SkillAtlas é oferecer uma base empírica de incidentes reais em vez de depender só de intuição sobre quais padrões de prompt são perigosos. É essencialmente um passo em direção a tratar segurança de agent skills com a mesma maturidade de dados que CVEs trouxeram para software tradicional.