Estudo em 66 mil skills de agentes de IA mostra que scanners de malware não concordam entre si e deixam passar violações reais

O artigo parte de um dado operacional revelado pela própria equipe de segurança do registro de skills ClawHub: os diferentes scanners usados para triar submissões concordam em no máximo 10,4% dos positivos combinados, e 81,9% das skills sinalizadas são capturadas por apenas um scanner. Os autores tomam isso como evidência de que cada scanner responde a uma versão da pergunta "esta skill é maliciosa?", que é diferente da pergunta operacionalmente relevante: "esta ação é permitida aqui, por este operador, agora?" — algo que nenhum scanner de triagem estática foi desenhado para expressar.

Sobre 66.192 versões públicas de skills do ClawHub, os pesquisadores identificaram 705 skills de 135 publicadores distintos que são aprovadas por todos os scanners e pelo próprio juiz do registro, mas ainda assim instruem uma ação proibida pelo CIS Control 2.7 e pela NIST SP 800-53 CM-11, controles de gestão de software não autorizado. Uma auditoria manual de 100 dessas skills confirmou 92% de precisão do detector dos autores, sem encontrar indícios de intenção maliciosa — ou seja, o problema não é distinguir bem de mal, mas a ausência de uma camada que avalie permissão contextual. Um único publicador concentra 506 dos 705 casos, o que os autores relatam junto com a contagem total para não distorcer a leitura do achado.

Em um segundo experimento, um agente real executou 144 comandos seguindo a documentação de skills dentro de um sandbox, e 34,7% desses comandos carregavam uma classe de consequência ausente da própria documentação da skill — evidência de que a documentação estática não prevê de forma confiável o comportamento em runtime. Em um terceiro teste, sobre 53 skills aprovadas que documentam uma ação que nenhum histórico limpo justificaria, o agente de fato tentou executar essa ação em 23 casos, e o gate proposto pelos autores bloqueou todos os 23.

A solução proposta é um resolvedor determinístico, sem nenhum modelo de IA no caminho da decisão, que alimenta um livro-razão de confiança por par (recurso, classe de ação), cujos limites de promoção derivam da tolerância a risco declarada pelo operador. Os próprios autores são transparentes quanto às limitações: dez aprovações limpas consecutivas de uma skill não conseguem excluir estatisticamente uma taxa real de falha de até 25,9% com 95% de confiança, e o benchmark de ofuscação de 64 casos que eles liberam junto com o artigo só é resolvido em 52% dos casos. Para quem opera ou audita marketplaces de skills de agentes em crescimento, o achado central é que aprovação estática pré-publicação, por mais scanners que sejam empilhados, não substitui um gate de autorização em tempo de execução sensível a contexto.