COPA trata defesa contra prompt injection como um problema de aprendizado contínuo
Pesquisadores propuseram o COPA, um framework que atualiza continuamente as defesas de um LLM contra prompt injection à medida que novos ataques surgem, em vez de depender de um alinhamento estático feito uma única vez. Usando otimização por preferência baseada em GRPO e replay de experiência ponderado por margem para não esquecer defesas antigas, o método reduziu a taxa de sucesso de ataques em até 6,3 vezes frente a defesas de última geração, em fluxos de ataques que evoluem ao longo do tempo.
Prompt injection continua sendo uma das falhas mais persistentes em aplicações baseadas em LLM: instruções adversárias embutidas em entradas do usuário ou em conteúdo externo (uma página web, um documento, um e-mail) conseguem manipular o comportamento do modelo e contornar salvaguardas. A crítica dos autores às defesas atuais é que a maioria delas é estática — um objetivo de alinhamento fixo, ou um filtro desenhado para um ataque específico — e por isso precisa ser redesenhada toda vez que surge uma nova estratégia de ataque.
O COPA (Continual Preference Optimization) trata a defesa contra prompt injection como um problema de aprendizado ao longo da vida do modelo, e não como um alinhamento feito uma vez só. A cada novo ataque observado, o framework incorpora esse feedback via otimização GRPO (uma variante de otimização por preferência usada em RL), e usa "replay de experiência ponderado por margem" para continuar reforçando as defesas contra classes de ataque já vistas antes — evitando o problema clássico de esquecimento catastrófico, em que aprender a se defender de um ataque novo faz o modelo esquecer como se defender dos antigos.
Em fluxos de ataque de prompt injection que evoluem continuamente (simulando um adversário que se adapta às defesas já aprendidas pelo modelo), o COPA reduziu a taxa de sucesso de ataques em até 6,3 vezes, com uma média de 4,4 vezes de redução frente a defesas de última geração, preservando as capacidades gerais do modelo.
O trabalho é relevante porque reconhece algo que boa parte da literatura de defesa contra prompt injection ainda trata como secundário: o adversário também se adapta. Uma defesa validada contra um conjunto fixo de ataques conhecidos tende a se tornar obsoleta assim que novas técnicas de injeção surgem — e tratar isso como um ciclo contínuo de aprendizado, em vez de um projeto de alinhamento pontual, é um passo prático para quem opera LLMs expostos a conteúdo não confiável em produção.