Transformar texto suspeito em imagem antes de enviar ao modelo reduz sucesso de prompt injection sem re-treinamento
Pesquisadores identificam uma assimetria em modelos multimodais: instruções adversárias embutidas em texto têm muito mais chance de serem obedecidas do que a mesma instrução entregue como imagem ou áudio. A partir disso, propõem 'Pictionary', uma defesa sem necessidade de re-treinamento que renderiza todo conteúdo não confiável como imagem tipográfica antes de expô-lo ao modelo, reduzindo consistentemente a taxa de sucesso de ataques em dez modelos e dois benchmarks — mas alertam que esse efeito se apaga quando o modelo é ajustado com exemplos de instruções renderizadas como imagem.
O achado central do artigo é observacional antes de ser uma proposta de defesa: modelos multimodais atuais são consistentemente mais propensos a seguir uma instrução adversária quando ela chega como texto puro do que quando a mesma instrução, com o mesmo conteúdo semântico, chega por um canal não textual — uma imagem que contém aquele texto, ou um trecho de áudio. Os autores atribuem essa 'lacuna de modalidade' ao processo de ajuste por instrução (instruction tuning), que é fortemente centrado em texto: o modelo aprende a obedecer instruções textuais como comandos diretos, enquanto trata outras modalidades majoritariamente como conteúdo a ser descrito ou interpretado, não executado.
A defesa proposta, batizada Pictionary, transforma essa observação em mitigação prática e barata: qualquer carga de dados não confiável — o resultado de uma busca na web, o conteúdo de um documento externo, a saída de uma ferramenta — é renderizada como imagem tipográfica (ou, alternativamente, como áudio) antes de ser passada ao modelo, em vez de ser inserida como texto bruto no contexto. Como o modelo trata esse conteúdo predominantemente como algo a descrever em vez de obedecer, instruções maliciosas escondidas ali perdem parte da autoridade que teriam se enviadas como texto puro. É uma defesa sem necessidade de re-treinamento, aplicável como camada de pré-processamento em qualquer pipeline existente.
Os testes cobrem dez modelos e dois benchmarks de prompt injection (DirectInject e AgentDojo), incluindo ataques adaptativos desenhados especificamente para contornar a defesa e red teamers humanos tentando quebrá-la — em todos os casos, a Pictionary reduziu consistentemente a taxa de sucesso do ataque, preservando ao mesmo tempo a utilidade em tarefas benignas.
A ressalva mais importante dos próprios autores é sobre a durabilidade do efeito: eles mostram que um ajuste fino benigno relativamente simples, treinando o modelo também a obedecer instruções apresentadas como imagem renderizada, erode a lacuna de modalidade que a defesa explora. Isso confirma que a vulnerabilidade de base está na distribuição de treinamento, não numa limitação arquitetural do modelo — e significa que a Pictionary deve ser vista como uma mitigação de baixo custo e efeito imediato para pipelines existentes, não como uma solução estrutural permanente, já que provedores de modelo podem eventualmente fechar essa lacuna via treinamento, inclusive sem essa intenção defensiva.