Pesquisadores propõem dar aos transformers uma noção arquitetural de "quem mandou o quê" para barrar prompt injection

Injeção indireta de prompt (IPI) é hoje um dos vetores de ataque mais discutidos contra sistemas baseados em LLM com acesso a ferramentas ou a documentos externos: um atacante não precisa falar diretamente com o modelo, basta plantar uma instrução maliciosa dentro de um e-mail, uma página web ou um PDF que o agente vá processar. A maior parte das defesas atuais tenta resolver isso via prompt engineering ou classificadores externos que tentam reconhecer padrões de instrução maliciosa — uma abordagem que os próprios autores chamam de "pattern matching frágil", porque basta reformular o ataque para escapar do filtro.

A proposta aqui é arquitetural, não um filtro por cima do modelo. Cada token de entrada recebe um "ring ID" que codifica sua origem (por exemplo: instrução do sistema, entrada do usuário, documento recuperado), e o transformer é aumentado com embeddings de origem, um viés de atenção aprendível condicionado a essa origem, e uma escala de origem aprendível que preserva esse sinal de proveniência mesmo depois das camadas de normalização — um detalhe técnico importante, já que normalização é justamente onde sinais auxiliares costumam se perder em arquiteturas transformer convencionais. O efeito prático é uma fronteira estrutural entre fontes autoritativas e não autoritativas que persiste durante toda a geração, não só no momento em que o prompt é montado.

Para aplicar isso a modelos pré-treinados já existentes (em vez de exigir treinar do zero), os autores propõem um pipeline de fine-tuning em duas etapas que ensina o modelo a reconhecer e respeitar a semântica de origem antes de recuperar o comportamento de tarefa normal. Os resultados reportados mostram resistência robusta a IPI tanto dentro quanto fora da distribuição de treino, mantendo utilidade comparável ao modelo base — ou seja, a defesa não parece vir com uma penalidade grande de qualidade, que é historicamente o principal motivo pelo qual defesas de IPI fortes não são adotadas em produção.

O valor estratégico do trabalho está em deslocar o debate: em vez de mais um classificador de prompt malicioso que precisa ser reciclado a cada nova técnica de jailbreak, ele defende que a solução de longo prazo passa por dar ao modelo, de forma nativa, uma noção de autoridade de fonte — algo mais parecido com um modelo de privilégios de sistema operacional do que com filtragem de conteúdo. Ainda é um resultado de pesquisa que exige fine-tuning e não resolve modelos fechados via API de terceiros, mas aponta um caminho que labs de modelos abertos e provedores de agentes deveriam observar de perto.