ARIA automatiza a criação de backdoors furtivos em instruções de LLMs personalizados para geração de código

Plataformas de personalização de LLM — os "GPTs" e assistentes customizados que qualquer pessoa pode criar embutindo instruções em um system prompt, sem tocar nos pesos do modelo base — reduziram bastante a barreira para desenvolver ferramentas de IA especializadas, inclusive para tarefas de código. Mas essa mesma facilidade cria uma superfície de ataque nova: como a personalização inteira mora em texto livre, qualquer um pode implantar comportamento malicioso oculto dentro de instruções aparentemente inofensivas, sem precisar de acesso privilegiado ao modelo em si.

Ataques anteriores desse tipo, chamados de instruction backdoor attacks, tinham duas limitações práticas: dependiam de padrões de gatilho explícitos, fáceis de detectar em uma inspeção do system prompt, e exigiam esforço manual considerável para adaptar cada backdoor à tarefa específica, o que limitava sua escala. O ARIA ataca as duas limitações ao mesmo tempo: um LLM atacante gera e refina iterativamente instruções com backdoor, guiado por feedback estruturado do próprio LLM alvo em três eixos simultâneos — furtividade, utilidade na tarefa limpa, e efetividade do backdoor — de forma automatizada e sem intervenção humana em cada iteração.

Os resultados, testados em três tarefas de inteligência de código e quatro LLMs representativos, mostram uma combinação incomum de eficácia e discrição: 94,5% de taxa de sucesso do ataque, a maior entre os métodos comparados, mantendo ao mesmo tempo a melhor utilidade em tarefa limpa entre todas as baselines — ou seja, o assistente continua parecendo funcionar normalmente na maior parte do tempo. Mais preocupante é a taxa de evasão: contra mecanismos de detecção tanto do lado da plataforma quanto do lado do usuário, o ARIA chegou a taxa de falso negativo de até 1,0, além de generalizar bem entre linguagens de programação e permanecer robusto a variações de temperatura de geração e a defesas existentes.

Na prática, isso significa que qualquer pessoa que importe um assistente de código "customizado" feito por terceiros — um cenário cada vez mais comum em marketplaces de agentes e plataformas de GPTs — está exposta a um risco de cadeia de suprimentos difícil de auditar por inspeção manual do prompt: o backdoor pode ser desenhado para se manifestar só sob condições de gatilho específicas, gerando código sutilmente vulnerável apenas quando acionado, e permanecendo indistinguível de um assistente legítimo no restante do tempo. Isso reforça que revisar manualmente o texto de um system prompt customizado não é mais garantia suficiente de segurança quando o processo de criação do próprio backdoor já pode ser automatizado e otimizado contra as defesas existentes.