EviLLM: pesquisa demonstra como um atacante externo pode injetar vulnerabilidades via pipelines de geracao de codigo com LLM
O estudo EviLLM propõe um modelo de ameaca realista em que um terceiro adversario -- com capacidades comparaveis a cibercriminosos comuns, nao o provedor do modelo nem o usuario -- compromete o pipeline de geracao de codigo por IA para injetar vulnerabilidades deliberadamente, cobrindo 13 classes diferentes de CWE. Em estudo com usuarios, a maioria dos participantes nao percebeu as vulnerabilidades injetadas, e boa parte nunca havia considerado esse tipo de ataque como um risco real.
Grande parte da pesquisa anterior sobre seguranca de codigo gerado por LLM assume dois cenarios: vulnerabilidades introduzidas de forma inadvertida pelo proprio modelo (o LLM 'erra' sem intencao maliciosa), ou modelos de ameaca pouco realistas em que o modelo em si e malicioso (backdoor plantado pelo fabricante) ou o usuario e o atacante (jailbreaking para fins proprios). O EviLLM parte de um terceiro cenario, mais alinhado ao que se observa no cibercrime real: um adversario externo que compromete contas, navegadores ou outros pontos do pipeline de geracao de codigo assistido por IA, sem precisar comprometer o modelo nem ser o proprio usuario, e usa esse acesso para injetar vulnerabilidades deliberadas no codigo gerado para a vitima.
Tecnicamente, o ataque nao depende de manipular os pesos do modelo nem de prompt injection classico contra o usuario final -- ele intercepta ou adultera a camada de interacao entre o desenvolvedor e o servico de geracao de codigo, inserindo instrucoes ou alteracoes que fazem o LLM produzir codigo com falhas especificas. Os pesquisadores demonstraram duas implementacoes distintas desse ataque, cobrindo vulnerabilidades que atravessam 13 categorias diferentes da taxonomia CWE, o que indica que a tecnica nao se limita a um tipo isolado de bug e pode ser direcionada a praticamente qualquer classe de falha que o modelo seja capaz de gerar.
O dado mais preocupante do estudo vem da avaliacao com usuarios reais: em um dos ataques, 7 de 8 participantes nao notaram as vulnerabilidades inseridas no codigo revisado; no outro, 10 de 13 nao perceberam. Mais relevante ainda, 13 dos 21 participantes relataram que 'raramente' ou 'nunca' haviam considerado esse tipo de comprometimento de pipeline como um risco ao revisar codigo gerado por IA -- ou seja, ha uma lacuna de consciencia de ameaca, nao apenas uma lacuna tecnica de deteccao.
Na pratica, isso importa porque assistentes de codigo por IA ja fazem parte do fluxo de trabalho padrao em boa parte das empresas de software, e o EviLLM mostra que a cadeia de confianca entre desenvolvedor e ferramenta de geracao de codigo e um ponto de comprometimento tao valido quanto qualquer outro elo da cadeia de suprimentos de software. Equipes que revisam codigo gerado por IA com a mesma vigilancia que aplicam a codigo escrito por humanos tendem a ser mais resilientes a esse tipo de ataque; equipes que tratam a saida do LLM como implicitamente confiavel estao, segundo este estudo, mal preparadas para detecta-lo.