LLMs abertos conseguem traduzir vulnerabilidades de carros autônomos para formato de inteligência de ameaças, mas ainda erram no mapeamento de relações de ataque
O estudo avalia se LLMs de peso aberto conseguem converter descrições textuais de vulnerabilidades de veículos conectados e autônomos (CAVs) para STIX, o formato estruturado padrão de inteligência de ameaças, automatizando um trabalho hoje manual dos times de segurança. Os modelos tiveram bom desempenho mapeando objetos de domínio (F1 0,94) e categorias CWE (F1 0,99), mas ainda têm dificuldade em capturar as relações entre esses objetos e o mapeamento completo para técnicas MITRE ATT&CK.
Veículos conectados e autônomos dependem de componentes de software e hardware interligados — sensores, unidades de controle eletrônico, sistemas de infotainment, unidades de telemática — e suas vulnerabilidades hoje são documentadas majoritariamente como texto livre no banco de dados CVE. Isso dificulta que times de segurança extraiam automaticamente quais ativos são afetados, que tipo de fraqueza existe e como o ataque se comportaria na prática, informação necessária para priorizar defesas.
Os autores constroem o dataset CAV-STIXGen, mapeando descrições de vulnerabilidades de CAVs para objetos de domínio STIX (SDO), objetos de relacionamento STIX (SRO), categorias CWE e técnicas MITRE ATT&CK, e avaliam 11 LLMs de peso aberto, variando de 4 a 120 bilhões de parâmetros, sob diferentes estratégias de prompting, temperaturas e também em uma configuração multiagente.
Os resultados são desiguais entre as tarefas: configurações de modelo único atingem F1 de 0,94 para objetos de domínio STIX e 0,99 para mapeamento de categorias CWE, mas apenas 0,63 para objetos de relacionamento STIX, e o mapeamento completo para técnicas MITRE ATT&CK permanece desafiador. Na configuração multiagente, os modelos Gemma-4-31B e Codestral-22B atingiram F1 de 0,91 e 0,43, respectivamente, para SDOs e SROs.
O trabalho representa IA como ferramenta a favor da defesa: automatizar a tradução de vulnerabilidades em inteligência de ameaças estruturada pode acelerar a priorização de defesas em um domínio onde exploração tem potencial de dano físico direto. Ao mesmo tempo, os resultados mostram que confiar cegamente em LLMs para esse tipo de triagem ainda é arriscado, já que justamente a parte mais complexa da tarefa — como os elementos de um ataque se relacionam entre si — é onde os modelos falham mais, reforçando a necessidade de supervisão humana contínua nesse fluxo de automação antes de ele informar decisões reais de priorização.