LLMs mostram raciocínio de segurança 'frágil': reformular o mesmo problema muda o ranking de defesas escolhidas
Testando LLMs na seleção de controles de segurança sobre grafos de ataque reais (ransomware, comprometimento de cadeia de suprimento, Kubernetes, ICS/OT), pesquisadores encontraram que os modelos produzem estratégias próximas de um baseline de otimização matemática quando a estrutura do ataque é explícita, mas a qualidade despenca com a complexidade do grafo e é muito sensível a mudanças de formulação do prompt — inclusive apenas rotular uma estratégia ruim como 'ótima' melhora drasticamente a avaliação que o próprio LLM dá a ela.
O estudo avalia se LLMs conseguem fazer algo que hoje é vendido como um caso de uso natural para IA em segurança: dado um orçamento limitado, escolher quais controles de segurança implantar sobre um grafo de ataque para minimizar a chance de sucesso do atacante. Os cenários usados são realistas e cobrem seis famílias de ameaça relevantes hoje — ransomware, comprometimento de cadeia de suprimento, abuso de nuvem, ataques a Kubernetes, malware de ponto de venda e intrusão em ambientes ICS/OT — e as estratégias geradas pelos LLMs são comparadas contra uma baseline de otimização por teoria dos jogos, usada como referência normativa de raciocínio estruturado.
O achado central é o que os autores chamam de 'competência condicional': quando a estrutura do grafo de ataque é fornecida explicitamente, os LLMs frequentemente produzem estratégias coerentes e próximas do ótimo formal. Só que essa competência é frágil — ela se degrada com o aumento da complexidade do grafo e é extremamente sensível a mudanças de framing no prompt. O experimento mais revelador é que simplesmente rotular uma estratégia já ruim como 'ótima' no prompt melhora drasticamente a avaliação que o próprio LLM faz dela, e existe uma relação não-monotônica entre proximidade do ótimo formal e a nota que avaliadores LLM atribuem às estratégias — ou seja, a estratégia mais próxima do ótimo matemático nem sempre é a mais bem avaliada pelo próprio modelo.
Os autores também pediram aos LLMs para gerar implementações de solvers para o mesmo problema de otimização: as formulações de alto nível saem corretas, mas a escalabilidade do código gerado é muito inferior à de um solver dedicado — mais um sinal de que o modelo reconhece o padrão do problema sem necessariamente 'entender' a estrutura matemática subjacente o suficiente para implementá-la com eficiência.
A implicação prática é direta para quem está avaliando ferramentas de apoio à decisão de segurança baseadas em LLM: o comportamento aparentemente competente em cenários de demonstração não garante robustez em produção, porque pequenas variações de como o problema é apresentado (ou tentativas adversariais de reformular o cenário) podem manipular a recomendação do modelo sem qualquer mudança na realidade do ataque. Sistemas de decisão de segurança assistidos por IA precisam de validação contra baselines formais antes de serem usados sem supervisão humana.