Estudo com 2.700 casos mostra que mais da metade do código gerado por LLMs falha em cenários de segurança realistas
Pesquisadores construíram um benchmark de 2.700 casos que reproduz situações comuns de desenvolvimento real — requisitos ambíguos, contexto operacional pouco especificado e conflitos entre segurança e funcionalidade — para avaliar oito LLMs de ponta na geração de código. Todos os modelos apresentaram taxas de vulnerabilidade acima de 56%, embora prompts com instruções explícitas de segurança tenham reduzido o problema em até 45%.
A maioria dos benchmarks de segurança para geração de código por LLMs assume que o pedido do desenvolvedor já contém requisitos de segurança explícitos, o que raramente reflete o uso real da ferramenta. Este trabalho adota uma perspectiva centrada no desenvolvedor e identifica três situações recorrentes que levam a código inseguro sem que o desenvolvedor perceba: requisitos ambíguos (o pedido não deixa claro o comportamento esperado em casos de borda), contexto operacional sub-especificado (falta informação sobre onde e como o código vai rodar) e conflito entre segurança e funcionalidade (a forma mais direta de atender ao pedido é também a mais insegura).
Com base nesses três cenários, os autores construíram um benchmark de larga escala com 2.700 casos de teste e avaliaram oito LLMs state-of-the-art amplamente usados para geração de código. O resultado: todos os modelos testados exibiram taxas médias de vulnerabilidade superiores a 56% nesses cenários realistas — um número bem mais alto do que costuma aparecer em benchmarks tradicionais, que tendem a superestimar a segurança do código gerado justamente por assumirem prompts bem especificados.
Os pesquisadores também testaram uma mitigação simples: instruir o modelo com prompts que explicitam a necessidade de segurança. Essa técnica reduziu as vulnerabilidades em até 45%, o que sugere que boa parte do problema não é uma limitação intransponível do modelo, mas sim um efeito de que o comportamento padrão prioriza atender ao pedido funcional em vez de aplicar boas práticas de segurança por padrão.
A implicação prática para quem usa LLMs como copiloto de programação é direta: código gerado a partir de prompts do dia a dia — que raramente mencionam segurança explicitamente — tem alta chance de conter falhas exploráveis, e a responsabilidade de mitigar isso hoje recai quase inteiramente sobre o desenvolvedor lembrar de pedir segurança ou sobre uma revisão de código robusta depois. Isso é particularmente relevante para equipes que adotaram geração de código assistida por IA em produção sem processos de revisão de segurança reforçados, e reforça que "segurança por padrão" ainda não é uma propriedade emergente confiável desses modelos.