Pesquisa apresentada no ICML aponta falha estrutural na forma como LLMs reconhecem quem está dando as instruções
Um estudo apresentado no ICML argumenta que modelos de linguagem não distinguem instruções de sistema, usuário e conteúdo externo pelas tags estruturais que as marcam, mas pelo estilo e pelo vocabulário do texto — o que permite a qualquer atacante "falsificar" um papel de maior privilégio só escrevendo no tom certo. Os pesquisadores extraíram informações que os modelos foram treinados para recusar, como instruções de síntese de drogas e sabotagem de sistemas de navegação de aeronaves, primeiro em modelos da OpenAI e depois replicando o resultado em modelos da Anthropic, Alibaba e DeepSeek. Segundo os autores, por ser uma característica estrutural da arquitetura, e não do treinamento, o problema pode ser essencialmente impossível de eliminar por completo.
O trabalho, apresentado na International Conference on Machine Learning, investigou por que ataques de "chain-of-thought forgery" — em que o atacante insere no prompt um raciocínio ou instrução que imita o estilo de uma mensagem de sistema — funcionam tão bem contra LLMs de produção. Ao examinar as representações internas de vários modelos, os pesquisadores descobriram que a identificação de papel (system/user/assistant/ferramenta) não depende primariamente dos delimitadores estruturais usados pela API, e sim de pistas estilísticas e lexicais do próprio texto.
Na prática, isso significa que qualquer atacante capaz de escrever um texto que "soe" como uma instrução de sistema — mesmo sem ter acesso aos tokens especiais ou tags reais usados internamente — consegue fazer o modelo tratar aquele conteúdo com o privilégio de uma instrução de mais alta prioridade. O experimento inicial mirou modelos da OpenAI, mas os autores relatam ter reproduzido resultados semelhantes em famílias de modelos de outros grandes fornecedores, o que indica um problema de arquitetura de transformers com prompting baseado em papéis, não uma falha de implementação de um fornecedor específico.
A gravidade do achado está na afirmação central dos autores: como o reconhecimento de papel é fundamental para como o modelo processa contexto, nenhuma quantidade de fine-tuning ou RLHF resolveria isso de forma completa — o que os autores chamam de um problema "provavelmente insolúvel" no sentido matemático, não apenas difícil de mitigar. Isso ataca diretamente a premissa de segurança usada por praticamente toda a indústria: a de que separar instruções de sistema de conteúdo de usuário/ferramenta (via tags, roles de API, delimitadores) cria uma fronteira de confiança confiável.
Na prática, o recado para quem constrói produtos com LLM é o mesmo que os pesquisadores dão: tratar qualquer saída ou decisão de um agente como potencialmente não confiável, independentemente de quão bem estruturado esteja o prompt de sistema, e não depender de separação de papéis dentro do próprio contexto do modelo como única barreira de segurança para sistemas críticos — inclusive os já em produção controlando processos sensíveis hoje, como destacado por um dos autores.