Estudo de 'vibe coding' mostra que pedir segurança no prompt reduz pela metade as vulnerabilidades em apps gerados por IA
Comparando doze aplicações web geradas pelo mesmo assistente de codificação agentic — seis com prompt padrão e seis com uma seção extra pedindo boas práticas de segurança — pesquisadores encontraram 51 vulnerabilidades confirmadas no grupo baseline contra 24 no grupo com prompt de segurança, sem nenhuma falha crítica ou alta neste último. O estudo é pequeno e não-iterativo, mas é um dos primeiros a quantificar o efeito de instruções de segurança explícitas no código gerado por IA generativa.
'Vibe coding' — gerar aplicações inteiras a partir de descrições em linguagem natural, sem revisão linha a linha — já é prática comum, e a pergunta óbvia que este estudo tenta responder é simples: se você simplesmente pedir para o modelo seguir boas práticas de segurança, o código gerado fica de fato mais seguro? Os autores geraram seis aplicações web funcionalmente distintas em duas variantes cada — uma com prompt baseline e outra idêntica, mas com uma seção adicional de requisitos de segurança — usando o mesmo assistente de codificação agentic e a mesma versão de modelo, numa única rodada não iterativa (ou seja, sem refinamento posterior).
As doze aplicações resultantes passaram por análise estática, de dependências, dinâmica e manual, produzindo 75 achados confirmados entre 85 candidatos. O resultado quantitativo é claro: a variante consciente de segurança teve menos achados confirmados em todas as seis aplicações (24 no total, contra 51 na variante baseline) e não teve nenhuma vulnerabilidade Crítica ou Alta — a falha mais grave encontrada nessa variante só foi detectada por teste manual, não pelas ferramentas automatizadas.
Os próprios autores são honestos sobre a limitação metodológica: o corpus é pequeno (seis apps, uma geração cada) e não permite conclusões estatisticamente robustas — é um estudo descritivo e preliminar, que os autores dizem estar escalando para múltiplos modelos e execuções repetidas. Ainda assim, o efeito direcional é forte o suficiente para ser um sinal prático.
Para equipes que usam assistentes de codificação para gerar aplicações rapidamente, a lição imediata e de baixo custo é: nunca use o prompt 'padrão' de geração de app sem anexar requisitos explícitos de segurança (validação de entrada, autenticação, tratamento de segredos, etc.) — o próprio ato de pedir already reduz a superfície de vulnerabilidade pela metade, mesmo sem nenhuma revisão humana adicional. Isso não substitui revisão de segurança, mas é a intervenção de menor esforço disponível hoje para quem depende de código gerado por IA.