ARQ usa agente de IA para corrigir falsos positivos e negativos em queries do CodeQL e acha bugs reais em libpng e zlib
O framework ARQ refina automaticamente queries do CodeQL para detecção de vulnerabilidades em C/C++, usando um loop de IA que gera programas de teste e compara a execução real deles com o veredito da query, sem precisar de datasets rotulados. O resultado foi um aumento de até 119,8% em verdadeiros positivos, correção de três issues do repositório oficial do CodeQL abertas havia até 27 meses, e a descoberta de dois bugs inéditos em libpng e zlib.
Analisadores estáticos baseados em query, como o CodeQL, codificam padrões de código vulnerável em regras que são casadas contra o código-fonte. O problema crônico dessas regras é o equilíbrio entre falso positivo (marcar código seguro como vulnerável, gerando fadiga de alerta) e falso negativo (deixar passar uma vulnerabilidade real), e ajustar esse equilíbrio manualmente é um trabalho lento e especializado — daí issues no repositório do CodeQL ficarem abertas por anos.
A ideia central do ARQ é usar evidência fundamentada em execução: o sistema sintetiza programas C/C++ de teste e roda tanto a query quanto o programa de verdade. Quando o programa é genuinamente vulnerável mas a query fica muda, isso expõe uma fraqueza de falso negativo; quando o programa é seguro mas a query dispara mesmo assim, expõe uma fraqueza de falso positivo. Esse par (veredito da query vs. comportamento real observado) alimenta um loop de refinamento baseado em LLM que reescreve a query para eliminar a discrepância, sem exigir dataset rotulado, histórico de commits ou template específico por tipo de vulnerabilidade — uma diferença importante frente a métodos anteriores de refinamento de queries.
Os números reportados são expressivos: usando três LLMs comerciais (GPT-5.4, Claude-Sonnet-4.6 e Gemini-3.5-flash) para refinar 12 queries oficiais do CodeQL, os autores obtiveram até 119,8% mais verdadeiros positivos nos datasets Juliet v1.3 e FormAI v2, mantendo precisão de pelo menos 98%. Mais relevante ainda: as queries refinadas resolveram três issues reais e antigas do repositório oficial do CodeQL (uma delas parada havia 27 meses) e encontraram dois bugs até então desconhecidos nas bibliotecas amplamente usadas libpng e zlib.
Esse é um exemplo concreto de IA como ferramenta que melhora a cadeia de descoberta de vulnerabilidades em software crítico de infraestrutura (bibliotecas de imagem e compressão usadas por praticamente todo o ecossistema). Para times de AppSec que já usam CodeQL, a promessa é reduzir o trabalho manual de tuning de queries e aumentar a cobertura de detecção sem inflar o volume de falsos positivos — mas também vale notar que o próprio pipeline depende da qualidade dos programas sintetizados pela IA, que podem não cobrir todos os padrões de vulnerabilidade do mundo real.