Ataque 'Divide and Doubt' dispersa passagens envenenadas para escapar de defesas de RAG baseadas em clustering
Pesquisadores apresentaram o DnD (Divide and Doubt), um ataque de envenenamento de corpus contra sistemas RAG que, em vez de repetir a mesma afirmacao-alvo em documentos parecidos entre si -- padrao que defesas de similaridade conseguem agrupar e suprimir -- distribui o suporte a resposta desejada por passagens estilisticamente diversas e inclui uma passagem extra que lanca duvida sobre a evidencia da resposta correta. Testado em duas bases de QA de dominio aberto, tres LLMs e nove configuracoes de RAG, o DnD igualou ou superou ataques anteriores na maioria dos cenarios, com ganhos maiores justamente contra as defesas de clustering e deteccao de conflito que tentam neutralizar esse tipo de envenenamento.
O problema que o ataque explora e uma fraqueza comum de tecnicas de envenenamento de corpus anteriores: a maioria repete a mesma alegacao-alvo em varios documentos parecidos entre si, criando um padrao lexical e semantico correlacionado que defesas baseadas em similaridade ou deteccao de conflito conseguem identificar e suprimir em conjunto, tratando o grupo de documentos suspeitos como uma unidade a ser filtrada.
O DnD contorna isso combinando dois principios. Primeiro, dispersa o suporte a resposta-alvo por passagens estilisticamente diferentes entre si, o que espalha as representacoes das passagens envenenadas pelo espaco de embedding em vez de concentra-las em um cluster facilmente detectavel. Segundo, inclui uma passagem adicional que especificamente lanca duvida sobre a evidencia da resposta de referencia correta, o que fortalece a adocao da resposta errada quando o modelo recupera multiplas passagens conflitantes e precisa decidir em qual confiar durante a geracao da resposta final.
Os resultados experimentais reforcam a relevancia pratica do ataque: avaliado contra duas bases de QA de dominio aberto, tres LLMs diferentes e nove configuracoes de RAG -- incluindo acesso de caixa-preta e caixa-branca ao retriever -- o DnD igualou ou superou ataques anteriores na maioria das configuracoes testadas, com o maior ganho relativo ocorrendo justamente contra as defesas de clustering e de sensibilidade a conflito, ou seja, exatamente as defesas desenhadas para este tipo especifico de ameaca sao as que mais falham contra ele.
Isso importa porque sistemas RAG em producao -- assistentes corporativos, busca aumentada por IA -- frequentemente dependem de defesas de similaridade ou clustering como principal linha de protecao contra envenenamento da base de conhecimento. O trabalho mostra que um atacante que conhece essas defesas pode desenhar o envenenamento especificamente para escapar delas com baixo custo adicional (variar o estilo textual, acrescentar uma passagem de duvida), sugerindo que defesas de RAG robustas precisam de camadas alem da deteccao de similaridade textual, como verificacao de proveniencia da fonte ou validacao cruzada com bases de conhecimento confiaveis.