Estudo com 1.195 binarios mostra que classificacao direta por LLM supera triagem de malware mediada por 'claims' explicaveis
O framework MARS comparou duas formas de usar LLMs para triagem de malware -- veredicto direto de classificacao versus pontuacao de afirmacoes comportamentais (claims) extraidas pelo modelo e avaliadas por uma politica externa -- sobre 1.195 binarios PE e ELF e seis modelos de linguagem distintos. A classificacao direta foi mais precisa em todos os seis modelos, com vantagem de 3,7 a 20,9 pontos percentuais, embora a abordagem baseada em claims tenha se mostrado util para inspecao e revisao explicita de politica, algo que o veredicto direto nao oferece.
A motivacao pratica do estudo e uma tensao bem conhecida em sistemas de decisao assistidos por IA aplicados a seguranca: veredictos diretos de classificacao ('este binario e malicioso') sao tipicamente mais precisos, mas funcionam como caixa-preta, dificultando auditoria, ajuste fino de politica e deteccao de por que o modelo decidiu de determinada forma. A alternativa de 'mediacao por claims' pede ao LLM que primeiro extraia afirmacoes comportamentais especificas sobre o binario (por exemplo, 'este programa estabelece conexao de rede persistente' ou 'este binario modifica chaves de registro de inicializacao automatica'), que entao sao pontuadas por uma politica externa e determinista para chegar a um veredicto final -- uma abordagem que promete mais transparencia e controle sobre a logica de decisao, ao custo potencial de precisao, caso as afirmacoes extraidas nao capturem toda a informacao relevante que o modelo 'sabe' implicitamente.
O desenho experimental do MARS controla rigorosamente essa comparacao: os dois caminhos (classificacao direta e mediacao por claims) usam o mesmo coletor de evidencia estatica e os mesmos pacotes de evidencia por amostra, garantindo que a diferenca de desempenho observada venha da forma como o LLM processa e usa essa evidencia, e nao de uma disparidade na informacao disponivel a cada abordagem. O conjunto de teste -- 1.195 binarios executaveis PE (Windows) e ELF (Linux), agrupados em 1.001 clusters de quase-duplicatas para evitar inflar metricas com amostras redundantes -- e avaliado contra seis modelos de linguagem diferentes, com regras deterministicas servindo de linha de base de comparacao.
O resultado central -- classificacao direta mais precisa em todos os seis modelos, com vantagem de 3,7 a 20,9 pontos percentuais e intervalos de confianca por bootstrap de cluster consistentemente acima de zero -- e reforcado por recall mais alto de alertas maliciosos em dez de doze combinacoes de plataforma e modelo testadas, e pela observacao de que a mediacao por claims nao oferece reducao consistente de variancia de desempenho entre modelos, ao contrario do que se poderia esperar de uma camada adicional de estruturacao. Um experimento complementar de remocao de campos de indicadores predefinidos mostra que a perda de recall e maior para o caminho de claims quando essa informacao e removida, sugerindo que o caminho de claims depende mais fortemente de pistas estruturadas especificas do que a classificacao direta, que aparenta usar o contexto bruto de forma mais robusta.
Um achado relevante para quem projeta pipelines de triagem em producao e que claims retidos permitem inspecionar e revisar a politica de decisao sem precisar chamar o modelo de novo -- os autores demonstram isso reproduzindo exatamente veredictos arquivados e aplicando uma politica revisada aos mesmos registros, incluindo saidas de dois modelos que foram descontinuados por seus provedores, algo impossivel de fazer com veredictos diretos opacos. Isso aponta para um trade-off pratico real entre as duas abordagens: ambientes que priorizam exclusivamente precisao de deteccao devem preferir classificacao direta, enquanto ambientes que precisam de auditabilidade, revisao de politica pos-hoc ou resiliencia a descontinuacao de modelos (um risco operacional real ao depender de APIs de terceiros) se beneficiam de reter as claims, mesmo que isso custe alguma precisao bruta.