Novo classificador combina contexto e consulta para detectar instruções maliciosas escondidas em texto, mesmo sob evasão adaptativa
Pesquisadores propõem um detector de injeção de prompt indireta que segmenta um texto em frases benignas e maliciosas levando em conta o contexto e a consulta original do usuário, algo que abordagens anteriores não faziam de forma combinada. O trabalho também introduz duas formas de treinamento adversarial para blindar o classificador contra tentativas de evasão, superando as defesas existentes tanto em ataques estáticos quanto adaptativos.
A motivação do artigo é um problema conhecido de agentes baseados em LLM: sua própria capacidade de seguir instruções os torna vulneráveis a injeção de prompt indireta (IPI), na qual instruções maliciosas embutidas em texto de terceiros — uma página web, um e-mail, um documento recuperado — são obedecidas como se viessem do usuário legítimo. A tarefa central de defesa é segmentar corretamente um texto em trechos benignos e maliciosos, mas os autores observam que nenhum detector existente combinava sensibilidade ao contexto com sensibilidade à consulta original, nem havia sido testado contra atacantes que adaptam seus payloads para escapar do próprio detector.
A solução técnica tem duas partes. Primeiro, um classificador em nível de segmento que leva em conta tanto o contexto ao redor do trecho quanto a pergunta original que o agente estava tentando responder, em vez de julgar cada frase isoladamente. Segundo, dois métodos de treinamento adversarial para endurecer esse classificador: um adapta o treinamento adversarial clássico ao espaço de embeddings, aproximando evasões via otimização por gradiente projetado; o outro simula ataques de evasão realistas fazendo um LLM parafrasear os payloads maliciosos durante o próprio loop de treinamento, o que aproxima mais o cenário de um atacante real tentando reformular instruções para escapar da detecção.
Os resultados mostram que a abordagem supera as defesas de estado da arte contra IPI tanto em ataques estáticos quanto, principalmente, em ataques adaptativos — justamente o cenário mais realista e mais difícil de defender, no qual o atacante já sabe que existe um detector e tenta contorná-lo ativamente. Isso importa na prática porque a maior parte da literatura de defesa contra prompt injection avalia apenas contra payloads fixos, um cenário que superestima a robustez real de um sistema quando exposto a atacantes adaptativos no mundo real.
Os autores também deixam um alerta operacional relevante: os melhores parâmetros de treinamento adversarial variam bastante conforme o domínio de aplicação, o que sugere que não existe uma configuração única de defesa contra IPI que sirva para qualquer produto — cada sistema baseado em agentes provavelmente vai precisar recalibrar seu classificador para o próprio domínio, em vez de importar um modelo de detecção genérico pronto.