SecJev: especialização em segurança para modelos de decisão rápida tipo "System One"
O estudo apresenta o SecJev, uma família de modelos de decisão especializados em segurança, de 0,8B a 9B de parâmetros, construída sobre a arquitetura de modelos "System One", que retornam previsões tipadas com probabilidades em vez de texto livre. Os autores mostram que a especialização em segurança supera modelos generalistas muito maiores: a versão de 0,8B parâmetros superou um modelo genérico de 9B em 20,51 pontos percentuais de acurácia média entre tarefas. O pacote cobre 14 tarefas de segurança, incluindo detecção de prompt injection, tráfego de rede e autenticação, com código liberado publicamente.
O artigo ataca um problema de engenharia mais do que de ataque: como transformar observações complexas — logs, telemetria, texto, histórico de eventos — em decisões de segurança binárias, de escolha múltipla ou ordenadas, de forma rápida e com baixo custo computacional. Em vez de usar um LLM generativo completo para cada decisão, os autores partem do paradigma de modelos "System One", que fazem uma única passada e devolvem uma previsão tipada com probabilidade associada, mais parecido com um classificador bem calibrado do que com um chatbot.
A técnica combina um corpus próprio que unifica rótulos de origem de dados e avaliação de políticas explícitas em 14 tarefas vindas de oito fontes distintas, como saídas de ferramentas, tráfego de rede, atualizações federadas, consenso distribuído, autenticação e mensagens de veículos. O treinamento usa uma ponderação por cenário para que o mesmo modelo generalize bem entre domínios tão diferentes quanto detecção de tráfego malicioso e autenticação, mantendo uma interface de decisão tipada comum. Os autores também comparam com fine-tuning generativo tradicional e reportam acurácia parecida, porém com menor uso de memória de inferência, um ganho de eficiência operacional.
Na prática, isso importa para quem opera pipelines de segurança que precisam tomar milhares de decisões por segundo, como bloquear ou não um pacote, aceitar ou não uma atualização federada, ou classificar uma tentativa de autenticação, sem o custo e a latência de um LLM generativo grande. A demonstração de que um modelo pequeno especializado supera um modelo genérico muito maior é um argumento prático a favor de arquiteturas mais leves e auditáveis em vez de depender de LLMs gigantes para cada chamada de decisão.
Vale notar que os testes em novos grupos de fontes mostraram ganhos sobre o modelo genérico em decisões de prompt injection e tráfego, mas também falsos alarmes dependentes de como os dados foram capturados — um lembrete de que isso é uma ferramenta defensiva promissora, não uma solução definitiva e livre de falsos positivos.