Detecção de prompt injection em agentes de email passa a modelar a cadeia completa do ataque
Pesquisadores propõem um framework de detecção de prompt injection indireta em assistentes de email que, em vez de classificar cada texto isoladamente como malicioso ou não, modela o ataque como uma sequência de estágios -- combinando um detector de texto, verificadores específicos por estágio, regras de risco e checagem de consistência entre a intenção do usuário e as ações do agente. O método atingiu F1 médio de 0,406 contra 0,216 do melhor detector pré-treinado avaliado, e mostrou que treinar com emails benignos que se parecem com ataques reduz falsos positivos sem perder sensibilidade.
Assistentes de email baseados em LLM são um alvo natural de prompt injection indireta porque o conteúdo de um email de terceiros -- não controlado pelo usuário nem pelo desenvolvedor do agente -- entra no contexto do modelo e pode influenciar diretamente quais ferramentas o agente decide chamar em seguida (encaminhar mensagens, apagar itens, vazar dados). A crítica central do artigo é que os detectores existentes tratam isso como um problema de classificação binária de texto solto, o que ignora que o dano real geralmente emerge de uma sequência de passos encadeados, e não de uma única frase isoladamente maliciosa.
A proposta combina cinco camadas: um detector de texto genérico, verificadores específicos para cada estágio plausível do ataque, sinais de risco baseados em regras explícitas, uma análise de consistência entre o que o usuário pediu e o que o agente está prestes a executar, e uma política de decisão logística que integra tudo isso em um veredito final. Os autores derivam rótulos de cadeia de ataque a partir de datasets existentes de prompt injection e avaliam o sistema sob múltiplos regimes de generalização -- splits aleatórios, transferência temporal de fase, transferência condicional de estágio e transferência entre datasets -- justamente para expor um problema metodológico comum: splits aleatórios tendem a superestimar a robustez real do detector sob mudança de distribuição.
Um achado técnico interessante é que estágios mais tardios do ataque, como os argumentos concretos passados a uma chamada de ferramenta, são mais previsíveis do que os estágios iniciais (o texto de isca embutido no email). Isso sugere que a superfície mais informativa para detecção não é necessariamente o ponto de entrada do ataque, mas o ponto em que a intenção maliciosa já se traduziu em uma ação concreta solicitada ao agente -- o que também é, coincidentemente, o ponto mais tarde para intervir com segurança.
Na prática, o framework supera com folga os detectores pré-treinados isolados (F1 de 0,406 contra 0,216), e o ganho mais replicável para quem constrói agentes de email é a combinação de sinais de estágio com verificação de consistência intenção-ação, além do cuidado deliberado de incluir emails legítimos que se parecem superficialmente com ataques no treinamento -- sem isso, o sistema tende a gerar alarmes falsos em correspondência comercial normal (faturas, convites, notificações automatizadas), o que na prática inviabilizaria o uso do detector em produção por fadiga de alerta.