Rodar LLM localmente não garante privacidade: falha de autorização no llama.cpp permite roubar conversas de outros usuários
Um estudo sistemático de quatro fronteiras de confidencialidade em sistemas de LLM local (carregamento de modelo, memória em tempo de execução, persistência do wrapper e interface de servimento) encontrou uma falha de autorização não documentada no llama.cpp que permite a um cliente autenticado restaurar o estado de conversa salvo de outro usuário, com sucesso em 200 de 200 tentativas controladas. Os pesquisadores também mostram que texto puro do prompt sobrevive na memória após a inferência e que o cache compartilhado de prefixo cria um oráculo de temporização explorável remotamente.
Fonte ↗