D-SCAN detecta envenenamento de RAG observando colapso de atenção em documentos maliciosos
Os autores mostram que ataques de envenenamento de RAG bem-sucedidos costumam produzir respostas com perplexidade ainda menor que gerações benignas, o que invalida detectores baseados em incerteza, mas induzem um padrão interno diferente, batizado 'Attention Collapse': a atenção do modelo se concentra nos documentos envenenados em vez de ficar dispersa entre as fontes recuperadas. A partir dessa observação, o framework D-SCAN monitora a dinâmica de atenção em nível de documento para sinalizar gerações atacadas, inclusive nos casos em que o ataque falha em mudar a resposta final.
O trabalho, de Yingtao Ren, Ziyi Zhao, Yiwei Fu, Xiao Luo, Yu-Cheng Chang e Chin-Teng Lin, parte de uma observação incômoda sobre detecção de envenenamento de RAG: os métodos existentes se apoiam em sinais do lado da saída, como perplexidade e checagens de consistência, assumindo implicitamente que uma resposta manipulada vai parecer 'menos confiante' ou mais inconsistente que uma resposta legítima. Os autores mostram que isso é exatamente o oposto do que acontece em ataques deliberados e bem executados: eles induzem falsa confiança, produzindo respostas com perplexidade ainda menor do que gerações benignas, o que torna a detecção baseada em incerteza não apenas ineficaz, mas ativamente enganosa.
Em vez de olhar para a saída, o D-SCAN ('Document-level Signal Collapse Analysis') monitora a dinâmica interna de atenção do modelo gerador. A observação técnica central é que, em gerações benignas, a atenção do modelo fica dispersa entre os documentos recuperados, enquanto em gerações atacadas a atenção se concentra ('colapsa') nos documentos envenenados, com queda mensurável de entropia — esse padrão de concentração é a assinatura que o framework usa para sinalizar um ataque, funcionando como um mecanismo leve de monitoramento.
Isso importa na prática porque RAG é hoje a arquitetura padrão para conectar LLMs a dados privados e corporativos, e envenenar a base de recuperação — bastando injetar um único documento adversarial na base de conhecimento indexada — é um vetor de ataque de baixo custo e alto impacto, já que a maioria dos pipelines de RAG confia cegamente em qualquer conteúdo que o mecanismo de recuperação traga de volta. Um detector leve baseado em sinal interno é mais viável operacionalmente do que adicionar passes extras de checagem de consistência, que aumentam latência e custo por consulta, e o D-SCAN ainda consegue detectar tentativas de ataque mesmo quando elas não conseguem alterar a resposta final — um caso que passaria batido em qualquer auditoria baseada só no output.
A limitação relevante é que esse tipo de defesa baseada em sinal interno (estados de atenção) exige acesso white-box ao modelo, o que descarta implantações puramente baseadas em API de terceiros fechados, a menos que o provedor exponha essa instrumentação — uma restrição de implantação real para quem avalia essa classe de defesa para uso com modelos proprietários acessados apenas via API.