SecureCollaRAG usa validação por GNN para blindar sistemas RAG colaborativos contra envenenamento de conhecimento
Sistemas de geração aumentada por recuperação (RAG) reduzem alucinação em LLMs, mas abrem uma nova superfície de ataque: envenenar os documentos recuperados para manipular a saída do modelo. O SecureCollaRAG propõe um framework tolerante a falhas bizantinas que valida dinamicamente a proveniência dos documentos usando credibilidade baseada em GNN, mantendo robustez mesmo sob distribuições de dados não-IID entre agentes colaborativos.
RAG funciona buscando documentos relevantes em uma base externa e injetando esse conteúdo no contexto do LLM antes de gerar a resposta, o que reduz a tendência do modelo de inventar fatos — mas introduz uma dependência crítica na integridade da base de conhecimento consultada. Um atacante que consiga inserir ou corromper documentos nessa base pode manipular indiretamente a saída do modelo sem nunca tocar nos pesos do LLM nem no prompt do usuário, um vetor de ataque particularmente furtivo porque a manipulação acontece na camada de dados, não na camada de modelo ou de interação.
O cenário fica mais complexo em sistemas multiagente colaborativos, onde diferentes agentes contribuem ou compartilham conhecimento entre si — nesse caso, um único agente comprometido ou malicioso (o "nó bizantino" clássico de sistemas distribuídos) pode injetar conhecimento corrompido que se propaga para os demais agentes da colaboração. O SecureCollaRAG aborda isso com um "Mecanismo de Validação de Conhecimento Multi-fonte": em vez de confiar cegamente em qualquer documento recuperado, o sistema atribui dinamicamente um score de credibilidade a cada fonte usando uma rede neural em grafo (GNN), que modela as relações de confiança e consistência entre os diferentes agentes e fontes de conhecimento ao longo do tempo.
O ponto tecnicamente interessante é a tolerância a distribuições não-IID entre os agentes colaborativos — cenário realista em que agentes diferentes têm acesso a conhecimento de domínios distintos e não uniformemente distribuídos, dificultando distinguir "fonte legítima com conhecimento incomum" de "fonte maliciosa injetando desinformação". Os autores reportam, através de avaliações extensas e análise formal, que o SecureCollaRAG mantém robustez contra atacantes mesmo nessas condições heterogêneas, preservando a integridade do conhecimento de domínio essencial.
Para arquiteturas empresariais de RAG multiagente — cada vez mais comuns em copilotos corporativos que agregam conhecimento de múltiplos times ou fontes internas — esse tipo de validação de proveniência dinâmica é um complemento necessário aos controles de acesso tradicionais à base de dados: mesmo com controle de acesso perfeito sobre quem pode escrever na base de conhecimento, uma fonte interna legítima mas comprometida (credencial vazada, insider malicioso) ainda pode envenenar o conhecimento compartilhado, e é exatamente esse cenário que a validação por credibilidade dinâmica tenta mitigar.