SoK avalia confiabilidade de LLMs para recuperar codigo-fonte a partir de binarios em tarefas de seguranca
LLMs estao deslocando a recuperacao de codigo-fonte a partir de binarios, usada em analise de malware e avaliacao de vulnerabilidades, de heuristicas baseadas em regras para recuperacao semantica probabilistica de alta fidelidade. Este trabalho sistematiza o campo fragmentado com uma taxonomia e avalia metodos existentes em 45 mil amostras cobrindo nove arquiteturas, cinco niveis de otimizacao e seis linguagens, incluindo arquiteturas embarcadas pouco cobertas ate agora.
Recuperar codigo-fonte legivel a partir de um binario compilado, ou de um pseudocodigo produzido por um decompilador tradicional, e uma etapa critica em analise de malware, avaliacao de vulnerabilidades e manutencao de sistemas legados sem codigo-fonte disponivel. Ate recentemente, essa tarefa dependia quase exclusivamente de heuristicas baseadas em regras construidas manualmente para cada arquitetura e compilador. LLMs estao mudando esse paradigma ao oferecer recuperacao semantica probabilistica de alta fidelidade, inferindo nomes de variaveis, estruturas de controle e ate logica de negocio a partir de assembly ou pseudo-C bruto.
Apesar do progresso rapido, o campo esta fragmentado: diferentes trabalhos propoem abordagens distintas sem uma avaliacao unificada que permita compara-las de forma justa, e a cobertura existente favorece fortemente arquiteturas convencionais e C/C++, deixando pouco claro o quao bem essas tecnicas funcionam em arquiteturas embarcadas e IoT ou em linguagens de origem diferentes, exatamente os cenarios mais comuns em firmware de dispositivos e sistemas legados que mais interessam a analise de seguranca.
Os autores apresentam a primeira sistematizacao de conhecimento (SoK) focada especificamente em recuperacao binario-para-fonte assistida por LLM, com uma taxonomia centrada em decisoes de design, representacao de entrada, enriquecimento contextual, escala do modelo, papel de iteracao e revisao, e uma avaliacao empirica massiva: 45 mil amostras de teste cobrindo nove arquiteturas (quatro convencionais e cinco embarcadas), cinco niveis de otimizacao de compilador e condicoes com e sem remocao de simbolos, alem de testes de recuperacao na mesma linguagem e entre linguagens diferentes, cobrindo quatro linguagens maduras e duas legadas.
A relevancia para seguranca e direta: times que usam decompilacao assistida por LLM para investigar malware, auditar binarios de terceiros ou avaliar firmware legado precisam saber exatamente em quais condicoes essas ferramentas sao confiaveis e em quais podem alucinar codigo plausivel, mas incorreto, o que e particularmente perigoso quando a propria analise de seguranca depende dessa recuperacao para identificar ou descartar um comportamento malicioso ou uma vulnerabilidade. Ao fornecer metricas padronizadas e ablacoes sistematicas sobre o que realmente afeta a qualidade da recuperacao, o trabalho da aos praticantes de seguranca uma base mais solida para decidir quando confiar nessas ferramentas.