InceptionRAG esconde envenenamento em passagens 'inofensivas' que só viram ataque quando combinadas pelo LLM
O InceptionRAG fragmenta uma carga maliciosa em uma cadeia de passagens dormentes, cada uma inofensiva quando examinada isoladamente, que só produzem desinformação-alvo quando recuperadas juntas e encadeadas pelo raciocínio multi-hop do LLM. O ataque supera 80% de taxa de sucesso mesmo contra defesas que já mitigam a injeção tradicional de documento único, expondo um paradoxo: quanto melhor o LLM raciocina, mais vulnerável ele fica a esse tipo de indução lógica.
Sistemas de RAG (retrieval-augmented generation) buscam trechos de uma base de documentos externa para fundamentar a resposta de um LLM, e a forma mais estudada de ataque contra eles é o envenenamento de corpus: inserir um documento malicioso que, ao ser recuperado, injeta instruções ou informação falsa diretamente na resposta. Defesas recentes já conseguem detectar e mitigar esse padrão porque o payload malicioso está inteiramente contido em um único documento, o que o torna examinável isoladamente por filtros de conteúdo.
O InceptionRAG contorna exatamente essa premissa de detecção. Em vez de um documento malicioso único, o ataque distribui a carga maliciosa em uma cadeia de passagens "dormentes", cada uma escrita para parecer perfeitamente benigna e legítima quando lida sozinha -- por isso passa incólume por filtros que analisam documentos individualmente. O efeito malicioso só emerge quando várias dessas passagens são recuperadas juntas na mesma consulta e o LLM, ao tentar conectar a informação de todas elas através de raciocínio multi-hop, "auto-deduz" a desinformação alvo como se fosse uma conclusão lógica legítima a partir de premissas aparentemente inocentes.
Para tornar o ataque prático em cenários de caixa-preta (sem acesso aos pesos do modelo-alvo), os autores propõem o ZOSO (zeroth-order suffix optimization), uma técnica para gerar automaticamente sufixos "autoritários" que aumentam a chance de as passagens dormentes serem recuperadas e conectadas da forma desejada, sem precisar de gradientes do modelo. Os resultados mostram taxa de sucesso acima de 80% mesmo sob restrições adversariais rigorosas, superando de forma consistente as defesas de mitigação de envenenamento de documento único, e o efeito se mantém através de três datasets e três LLMs diferentes.
O paradoxo destacado pelos autores é o ponto mais importante para quem opera sistemas RAG em produção: capacidades de raciocínio mais fortes, que são justamente o motivo pelo qual se usa um LLM melhor, tornam o sistema mais suscetível a esse tipo de ataque de indução lógica, porque é exatamente a capacidade de conectar premissas dispersas que o InceptionRAG explora. A defesa proposta pelos autores, HODOR, ataca o problema pela raiz ao isolar documentos entre si durante a geração, quebrando deliberadamente a dependência lógica entre passagens recuperadas na mesma consulta -- uma mudança de arquitetura, não apenas um filtro de conteúdo adicional, sugerindo que mitigar esse ataque vai exigir repensar como pipelines de RAG combinam múltiplas fontes por padrão.