"Micro-Collaborative Poisoning": ataque distribui a mentira em vários documentos para escapar de auditoria de RAG
Em vez de plantar um único documento malicioso óbvio, esse novo ataque contra sistemas RAG divide uma afirmação falsa em pedaços plausíveis espalhados por múltiplos documentos, cada um passando despercebido em uma inspeção isolada. Testado em 108 configurações diferentes de RAG, o ataque se mostrou mais difícil de detectar por auditoria manual de documentos do que envenenamento tradicional concentrado em uma única fonte.
Ataques de envenenamento contra Retrieval-Augmented Generation costumam seguir um padrão conhecido: o atacante insere um documento claramente malicioso na base de conhecimento, esperando que ele seja recuperado e influencie a resposta do modelo. Esse padrão é exatamente o que ferramentas de auditoria de conteúdo e revisão humana de documentos tendem a pegar, porque o documento malicioso, isolado, muitas vezes soa estranho ou contém a afirmação falsa de forma explícita e concentrada.
O Micro-Collaborative Poisoning ataca essa premissa distribuindo a afirmação falsa-alvo entre vários documentos separados, cada um contendo apenas um fragmento plausível da narrativa maliciosa — nenhum documento individual, olhado sozinho, parece um ataque. O efeito só emerge quando vários desses fragmentos são recuperados juntos no mesmo contexto e o modelo gerador costura essas peças em uma resposta coerente com a alegação falsa. Os autores testaram a técnica em 108 combinações de configuração de RAG, variando dataset, arquitetura do retriever, profundidade de recuperação (top-k), composição da base de dados, número de bases envenenadas e o modelo gerador usado — uma varredura de engenharia bem mais ampla que a maioria dos papers de poisoning, o que dá peso à generalização do achado.
O resultado central é que o ataque não depende de um documento dominante: ele funciona pelo acúmulo de sinais adversariais fracos espalhados pelas fontes recuperadas. Aumentar o top-k de recuperação e envenenar mais de uma base tornam mais provável que vários desses sinais fracos apareçam juntos no mesmo contexto, enquanto diversidade de bases limpas e retrievers mais fortes ajudam a diluir essa influência. O achado mais preocupante do ponto de vista operacional é que essa abordagem "esconde" o sinal de envenenamento justamente das técnicas de defesa mais usadas hoje, que costumam inspecionar documentos individualmente à procura de conteúdo suspeito — aqui, cada documento passa nesse teste.
Para quem opera pipelines RAG em produção, a lição prática é que auditoria de conteúdo documento-a-documento não é suficiente como defesa contra poisoning; é necessário algum tipo de análise que considere o efeito agregado de conjuntos de documentos frequentemente recuperados juntos, além de controle de proveniência mais rígido sobre quais fontes entram na base de conhecimento em primeiro lugar — especialmente em cenários com múltiplas bases de dados de origens distintas, que o próprio estudo mostra amplificar o efeito do ataque.