Pesquisa mostra que calibradores de detecção de malware por grafo erram mais quando aparece um tipo de malware novo
Pesquisadores testaram classificadores de malware baseados em redes neurais de grafo (GNN) no dataset MalNet-Tiny e mostraram que calibradores pós-hoc, usados para tornar o nível de confiança do modelo mais confiável, degradam quando o malware pertence a um tipo nunca visto no ajuste de calibração. A equipe propõe um mecanismo de fallback que detecta quando uma amostra está fora do suporte conhecido e reverte para um calibrador mais genérico, recuperando boa parte da perda de confiabilidade.
Sistemas antimalware baseados em aprendizado de máquina não bastam apenas classificar corretamente; em produção, a confiança (score de probabilidade) atribuída à classificação também precisa ser calibrada, porque é ela que decide se um alerta dispara automação, vai para revisão humana ou é ignorado. O estudo usa uma rede de isomorfismo de grafo (GIN) para classificar malware por sua estrutura de grafo de chamadas/comportamento e testa diferentes esquemas de calibração pós-hoc sob "type shift": excluir por completo um tipo de malware do conjunto de calibração e ver o que acontece quando ele aparece em produção.
O achado central é contraintuitivo: adicionar mais covariáveis estruturais (métricas de comunidade do grafo) ao calibrador piora a confiabilidade quando o tipo de malware é desconhecido, aumentando a log-likelihood negativa (NLL) em 0,14 — ou seja, o modelo fica mais confiante do que deveria justamente nos casos em que deveria estar mais incerto. Um experimento de controle mostra que parte desse efeito vem simplesmente de ter mais parâmetros a ajustar, mas não todo: a estrutura do grafo em si carrega informação que se torna enganosa fora do domínio de treino.
A mitigação proposta é pragmática: um "guarda de suporte comunitário" que mede o quanto uma amostra se desvia estatisticamente do padrão visto na calibração e, quando esse desvio ultrapassa o percentil 95, ignora o calibrador especializado e usa um calibrador genérico e mais conservador. Isso reduz a NLL combinada e derruba o número de erros de alta confiança de 43 para 33 a cada 400 amostras — uma redução real, embora não elimine o problema.
Para times de segurança que operam pipelines de triagem automática de malware, o resultado é um alerta prático: um classificador com boa acurácia pode continuar "confiante" mesmo errando quando surge uma família de malware fora da distribuição de treino, e mecanismos de fallback baseados em detecção de deslocamento de domínio — não só mais features — são necessários para não converter esse excesso de confiança em decisões automatizadas erradas.