KeyPooling: gateways de relay de API de LLM vazam cache de prompt entre clientes diferentes
A pesquisa KeyPooling demonstra que gateways de relay de API de LLM, usados para agregar acesso a provedores como OpenAI e Anthropic sob credenciais compartilhadas, vazam o cache de prompt entre clientes diferentes por padrão em todos os cinco gateways de código aberto testados. Em produção, os autores conseguiram recuperar oito posições consecutivas de tokens de um cliente-alvo sem qualquer acesso direto a ele, e mediram vazamento de cache entre contas em rotas responsáveis por um terço do volume de tokens do OpenRouter analisado.
Fonte ↗