Pesquisadores testaram classificadores de malware baseados em redes neurais de grafo (GNN) no dataset MalNet-Tiny e mostraram que calibradores pós-hoc, usados para tornar o nível de confiança do modelo mais confiável, degradam quando o malware pertence a um tipo nunca visto no ajuste de calibração. A equipe propõe um mecanismo de fallback que detecta quando uma amostra está fora do suporte conhecido e reverte para um calibrador mais genérico, recuperando boa parte da perda de confiabilidade.
Pesquisadores apresentam o DistillGuard, um framework leve para detectar pacotes NPM maliciosos que usa um LLM online apenas para gerar rótulos e conhecimento de segurança de alta qualidade, destilados via LoRA para um modelo Qwen3-8B open source rodando offline em produção — evitando o custo e o risco de enviar código de terceiros para uma API de LLM a cada verificação. O sistema atinge 95,3% de acurácia, 99,4% de precisão e F1 de 93,8%, superando ferramentas de referência em 11 a 30 pontos percentuais, e cataloga oito cadeias típicas de ataque via API usadas por pacotes maliciosos.
Pesquisadores consolidaram 13 fontes públicas para criar o MaliciousSkillBench, um benchmark com 9.740 "Agent Skills" (pacotes de instruções, scripts e configurações reutilizáveis que estendem agentes de LLM), sendo 7.505 maliciosas. O resultado mostra que os melhores detectores atuais, embora pontuem bem em avaliação aleatória, despencam quando testados contra skills de fontes nunca vistas — um dos melhores modelos manteve 95,6% de detecção maliciosa mas gerou 62,4% de falsos positivos em skills benignas.
O SkillsMetric é um framework de análise estática em cinco estágios para avaliar pacotes de "Agent Skills" (extensões de instruções e scripts para agentes LLM) quanto a risco malicioso, atingindo AUC de 0,93 em um dataset adversarial de 2.266 skills cobrindo 16 tipos de ataque. Apesar do bom desempenho geral, os autores identificam pontos cegos completos: ataques de destruição de host usando comandos de shell comuns escapam de todos os cinco estágios (0% de detecção), e prompt injection via manipulação em linguagem natural é detectada em apenas 42% dos casos.