Pesquisa mostra como transformar o próprio alinhamento de segurança de LLMs em arma para bloquear RAG
Pesquisadores mostram que é possível transformar o próprio alinhamento de segurança de LLMs em uma arma para bloquear respostas legítimas de sistemas RAG, explorando a semelhança de critérios de recusa entre modelos diferentes, a chamada 'homogeneidade de alinhamento'. O ataque, batizado TabooRAG, envenena um único documento por consulta com contexto de risco, sem instrução explícita, e transfere bem entre modelos nunca vistos durante o ataque. Os resultados mostram 67% de ganho sobre a melhor defesa existente, configurando um ataque de negação de serviço difícil de filtrar com detectores tradicionais de prompt injection.
Fonte ↗