Pesquisadores propõem dar aos transformers uma noção arquitetural de "quem mandou o quê" para barrar prompt injection
Um novo trabalho ataca a causa raiz da injeção indireta de prompt: o transformer padrão processa instrução do sistema, entrada do usuário e documento recuperado pelo mesmo mecanismo de atenção, sem nenhuma noção estrutural de qual fonte tem autoridade. A proposta, batizada de Provenance-Aware Transformers, marca cada token com a origem da informação e usa esse sinal dentro da própria rede para separar o que deve ser obedecido do que deve ser tratado só como dado.
Fonte ↗