Falha de tokenização deixa 255 dos 400 modelos de chat mais baixados no Hugging Face vulneráveis a injeção via marcador forjado
Pesquisadores mostram que forjar marcadores de template de chat (como delimitadores de início de turno) é muito mais eficaz quando o texto malicioso chega ao modelo como um único token reservado de controle, em vez de como sequência de subtokens comuns — mesmo que as duas formas decodifiquem exatamente para o mesmo texto visível. Como a tokenização roda no servidor, é o defensor, não o atacante, quem decide qual representação o modelo recebe, e a mitigação padrão deixa 255 dos 400 modelos de chat mais baixados no Hugging Face expostos pelo canal de tokens de protocolo de ferramenta.
Ataques de prompt injection contra agentes de LLM ficam muito mais fortes quando a instrução injetada é embrulhada no próprio template de chat do modelo — por exemplo, forjando um marcador como o que indica 'início de uma nova mensagem do sistema'. O detalhe técnico central deste artigo é que esse marcador forjado pode chegar ao modelo de duas formas que parecem idênticas para um humano lendo o texto decodificado, mas que são processadas de maneira completamente diferente internamente: como um único token reservado de controle (com um vetor de embedding próprio, aprendido especificamente para aquele papel durante o treinamento) ou como uma sequência de subtokens comuns que, concatenados, formam visualmente o mesmo texto.
Os autores isolam experimentalmente quanto da autoridade da instrução injetada vem especificamente dessa representação de token reservado. Ao forçar a codificação dos marcadores forjados como subtokens comuns — mantendo o texto idêntico e controlando estatisticamente para o número extra de tokens que isso adiciona — a taxa de sucesso do ataque no benchmark InjecAgent cai entre 39 e 66 pontos percentuais em três das quatro famílias de modelos de peso aberto testadas, e esse efeito se mantém em tarefas de agente multiturno no benchmark AgentDojo. No caso do Qwen3-8B, a queda é menor (8 pontos), porque esse modelo ainda reconhece o turno forjado através de raciocínio textual explícito mesmo sem o token especial — e quando os pesquisadores suprimem esse bloco de raciocínio, a diferença sobe para 50 pontos, confirmando que a autoridade reside especificamente no vetor aprendido associado à posição do marcador, e não numa média das representações dos subtokens equivalentes.
Um achado adicional relevante é que, em todos os pares de modelo base e modelo ajustado por instrução testados, o ajuste por instrução (instruction tuning) reforça a preferência do modelo por marcadores reservados — ou seja, o próprio processo de alinhamento que torna os modelos mais úteis como assistentes também amplifica essa vulnerabilidade específica. A mitigação padrão hoje disponível é uma opção de tokenizador que força tokens especiais a serem codificados como subtokens comuns, mas essa opção só se aplica aos tokens que uma configuração declara explicitamente como 'especiais'. Os pesquisadores encontraram que, em 33 das 67 configurações de tokenizador distintas analisadas — cobrindo 255 dos 400 modelos de chat mais baixados no Hugging Face — essa mitigação deixa de fora justamente os tokens de protocolo de ferramenta, o canal pelo qual agentes leem a saída de ferramentas não confiáveis.
Isso tem impacto direto em qualquer harness de agente que injete conteúdo de terceiros (resultado de busca, saída de ferramenta, conteúdo de arquivo) de volta no contexto do modelo: se esse conteúdo não confiável passa por um canal de tokenização que preserva tokens de protocolo como reservados, um atacante que controle parte desse conteúdo pode forjar turnos de sistema ou de ferramenta com autoridade equivalente à de mensagens legítimas, mesmo que o texto pareça inofensivo a um filtro que só analisa a string decodificada.