Pesquisadores unificaram cinco variantes de ataques de inferencia de pertencimento (membership inference) em caixa totalmente fechada ('no-box') sob um unico framework de distancia ponderada, aplicado a dados sinteticos de expressao genica gerados por um autoencoder variacional condicional a partir do The Cancer Genome Atlas. A estrategia de ponderacao por residualizacao espectral elevou significativamente a eficacia do ataque, levantando duvidas sobre a protecao de privacidade real oferecida por dados sinteticos nesse dominio.
Pesquisadores quantificam quanto um atacante posicionado no ponto de divisao de um esquema de split learning consegue reconstruir do texto original de treino ao interceptar ativacoes e gradientes, medindo tanto a taxa de recuperacao por token quanto por documento inteiro. Em GPT-2, apenas ativacoes permitem recuperar 94,20% dos tokens, mas somar os gradientes eleva a reconstrucao exata de documentos completos de 13,71% para 37,77%, e mesmo uma defesa dedicada ainda deixa de 83% a 91% dos tokens recuperaveis individualmente.
Pesquisadores apresentam o Whiteout, uma ferramenta prática que impede LLMs de reproduzir informações pessoais sensíveis de indivíduos específicos — datas de nascimento, telefones, endereços — memorizadas a partir de dados de treinamento não filtrados. Em vez de recorrer a unlearning, que tende a remover informação além do necessário e degrada a utilidade do modelo, o Whiteout sobrescreve os dados reais com amostras de ofuscação cuidadosamente desenhadas, mediante solicitação do próprio indivíduo. Os autores testam a ferramenta contra modelos de diferentes tamanhos e fabricantes, incluindo um modelo OpenAI amplamente usado, e contra ataques de caixa-preta (jailbreaking) e caixa-branca (relearning, quantização), reportando impacto mínimo na utilidade geral do modelo.
Pesquisadores propoem Locket, um framework que treina multiplos adaptadores LoRA, cada um codificando uma politica de acesso diferente (revelacao completa, redacao parcial de PII ou privacidade diferencial), e usa um modulo de roteamento que so ativa o adaptador de revelacao completa quando um token de entrada valido esta presente no prompt. Sem o token correto, o modelo roteia automaticamente para o adaptador que redige ou sanitiza conteudo sensivel, mantendo utilidade proxima a de um modelo sem nenhuma defesa quando o acesso e autorizado.
O artigo investiga como a quantizacao pos-treino -- reduzir a precisao numerica de pesos e ativacoes -- altera a eficacia de ataques de inversao de modelo, que reconstroem dados sensiveis de treino ou de inferencia a partir das saidas do modelo. Usando um limite teorico sobre a mudanca de informacao mutua induzida pela quantizacao e um metodo de quantizacao sensivel a privacidade que aloca bits por importancia da tarefa, os autores encontram sensibilidade pronunciada em 4 bits e mostram, em reconhecimento facial, de palma da mao e de iris, que e possivel reduzir significativamente o sucesso de ataques de inversao com perda controlada de acuracia.
Ataques de inferência de associação (que tentam determinar se um dado específico fez parte do conjunto de treinamento de um modelo) tradicionalmente exigem treinar modelos de referência auxiliares — algo caro demais para replicar contra modelos grandes modernos. Pesquisadores mostram que consultar o próprio modelo-alvo sobre pontos de dados vizinhos ao exemplo investigado recupera a mesma calibração sem nenhum treinamento adicional, obtendo sinal de associação competitivo a custo praticamente zero.
Um novo benchmark com 60 mil interações e quase 2.900 execuções multiagente mostra que um observador passivo, olhando apenas metadados de pacotes cifrados (tamanho, direção, tempo, rajadas), consegue identificar o modelo de LLM usado, a categoria do prompt e até a tarefa executada por sistemas multiagente. A fingerprinting de modelo chega a 97,7% de acurácia balanceada, mesmo sob reformulação de prompt e mudanças de temperatura.
O estudo mostra que qualquer entidade com presença pública online vaza fatos que nunca declarou explicitamente, porque modelos de linguagem tornam barata a inferência a partir de informação dispersa. Os autores separam “acurácia de leitura” de “taxa de vazamento real”, constroem um analisador local de 106M de parâmetros que nunca gera texto e certifica cada resposta, e mostram que uma defesa que reescreve fatos de forma mais genérica esconde vazamentos a 40% menos custo de edição do que simplesmente deletar informação.
Pesquisadores de Harvard construíram o Priva-See, um sistema baseado em LLM que simula como empresas de adtech poderiam usar IA para inferir características sensíveis de usuários a partir de dados parciais coletados por apps de celular (fotos, mensagens, calendário). Em um estudo com 465 participantes aprovado por comitê de ética, o sistema fez inferências invasivas de privacidade mesmo tendo acesso a apenas um subconjunto dos dados do usuário, o que levou os autores a recomendar mudanças em como os sistemas operacionais móveis pedem consentimento de acesso a dados.
O CROSS-MAP é um framework bidirecional que protege a privacidade de dados enviados a APIs de LLM substituindo o conteúdo semântico original por conteúdo alternativo, mas preservando a estrutura de que o modelo precisa para raciocinar, e depois reconstrói a resposta correspondente ao pedido real do usuário. Modelos locais treinados com otimização multiobjetivo — maximizando divergência semântica no mapeamento e minimizando inconsistência na recuperação — reduziram o sucesso de ataques de reconstrução de texto em múltiplos cenários, mantendo utilidade superior a baselines anteriores.
Cada vez mais, o vazamento prático de identidade a partir de texto publicado é obra de atacantes que combinam LLMs com conhecimento auxiliar para ligar documentos a pessoas reais, mas as auditorias existentes não dão garantia estatística formal desse risco por documento. O CPA (Conformal Privacy Auditing) usa calibração conforme para gerar, para cada documento a ser publicado, um certificado do risco de reidentificação contra esse tipo de adversário.
Um estudo sistemático de quatro fronteiras de confidencialidade em sistemas de LLM local (carregamento de modelo, memória em tempo de execução, persistência do wrapper e interface de servimento) encontrou uma falha de autorização não documentada no llama.cpp que permite a um cliente autenticado restaurar o estado de conversa salvo de outro usuário, com sucesso em 200 de 200 tentativas controladas. Os pesquisadores também mostram que texto puro do prompt sobrevive na memória após a inferência e que o cache compartilhado de prefixo cria um oráculo de temporização explorável remotamente.
Pesquisadores mostram que um modelo de localização humana originalmente treinado com dados de Channel State Information (CSI) -- que exige hardware e drivers especiais -- pode ser reaproveitado para inferir posição a partir de RSSI, a métrica de intensidade de sinal Wi-Fi disponível em praticamente qualquer dispositivo IoT sem permissões elevadas. O modelo atingiu cerca de 80% de confiança na detecção de movimento humano em um ambiente real testado.
Um novo benchmark chamado PriMobiBench mede o quanto agentes de GUI móvel baseados em modelos de visão e linguagem (VLMs) vazam informação privada ao interpretar screenshots de tela para automatizar tarefas em smartphones. Usando um dataset de 2.960 instâncias de privacidade embutidas em execuções reais de 16 apps, os autores mostram que VLMs conseguem extrair diretamente dados sensíveis com até 82,5% de sucesso e ainda inferir perfis de usuário a partir de evidência visual agregada com cerca de 70% de sucesso.
Pesquisadores demonstraram três ataques — Collaborative Workspace Lure, Semantic Obfuscation Attack e Channel Decoupling Attack — que extraem dados privados de agentes pessoais de IA sem depender de injeção de prompt clássica, contornando defesas baseadas em prompts de sistema, treinamento e checagem de consentimento. Em resposta, os mesmos autores propõem o FLOWSEAL, um mecanismo de controle de fluxo de informação aplicado fora do contexto do LLM, que reduz a taxa de vazamento contra o ataque mais eficaz de 52,2% para 0,5% sem prejudicar a utilidade do agente.
O CIG-MIA é um novo ataque de inferência de associação (membership inference) contra sistemas de geração aumentada por recuperação (RAG), capaz de determinar se um documento específico está presente na base de conhecimento privada de um sistema, mesmo sob acesso apenas textual de caixa-preta. Testado no dataset Natural Questions, o ataque atinge AUC de 0,99 no cenário com acesso a probabilidades internas (gray-box) e 0,93 no cenário totalmente de caixa-preta, superando ataques anteriores baseados em prompts diretos de associação ou similaridade de resposta.
O artigo mostra que modelos de atribuição de autoria conseguem reidentificar autores de textos anonimizados, inclusive transcrições de reuniões e ligações, a partir apenas do estilo de escrita, mesmo depois de removidos identificadores explícitos. Os autores propõem reescrever o texto com um LLM guiado por um perfil estilístico compacto para suprimir esses marcadores, reduzindo o sucesso da atribuição de autoria em 60-70% sem destruir a legibilidade, superando abordagens de privacidade diferencial que sacrificam demais a qualidade do texto.
O GraphProfiler demonstra que perfiladores baseados em LLM conseguem inferir atributos sensíveis como idade, renda e ocupação a partir da agregação de pistas espalhadas em posts aparentemente inofensivos, com taxa de sucesso de até 86,7%. Diferente de perfiladores anteriores, o sistema rastreia cada inferência até o post de origem, permitindo mostrar que remover os poucos posts realmente reveladores neutraliza o ataque de forma muito mais eficiente do que apagar posts aleatórios.
Esquemas leves de privacidade para inferencia em LLM transformam localmente embeddings em texto claro para embeddings ofuscados via substituicao um-para-um, resistindo a ataques classicos de frequencia de token e inversao de embedding, mas sem garantia criptografica formal. O ataque Proxy Manifold Alignment (PMA) trata o fluxo de vetores ofuscados como uma "lingua" desconhecida e usa Word2Vec para modelar padroes de coocorrencia tanto no fluxo ofuscado quanto num corpus publico, alinhando as duas estruturas geometricas resultantes para mapear vetores ofuscados de volta ao texto original, superando outros ataques do estado da arte na taxa de recuperacao de texto claro.
Pesquisadores propõem o PrivateHub, um modelo de difusão treinado com aprendizado contrastivo para gerar versões sintéticas de fluxos de dados multi-sensor que escondem atividades privadas do usuário sem comprometer a detecção de aplicações não-privadas. A abordagem ataca diretamente o problema da inferência cruzada entre sensores, um vetor de vazamento de privacidade que técnicas tradicionais como privacidade diferencial e filtragem por regras não conseguem mitigar. Em testes com três datasets reais, o método reduziu a acurácia de inferência de aplicações privadas em 40 a 50%, mantendo-se robusto mesmo quando o atacante retreina seu modelo diretamente sobre os dados sintéticos.
Pesquisadores mostram que, mesmo sem acessar dados brutos de sensores, um servidor de aprendizado federado pode identificar qual veículo enviou cada atualização de modelo apenas analisando os gradientes/pesos transmitidos, com acurácia próxima de 100%. O estudo usa dados de sensores inerciais (IMU) do benchmark HAR como proxy para telemetria veicular e testa uma defesa de recorte de gradiente combinado com ruído gaussiano (privacidade diferencial), que derruba a taxa de identificação para quase aleatória com perda de acurácia do modelo abaixo de 5%. Os autores também apontam o uso de ensembles de FL como defesa estrutural complementar, sem custo de ruído.
Pesquisadores mostraram que agentes de LLM personalizados que armazenam apenas um "modelo do usuário" compactado (em vez do texto original) não são tão privados quanto se supunha. O ataque UMPeek, por sondagem adaptativa guiada por hipóteses, consegue reconstruir informações privadas do usuário observando apenas o comportamento visível do agente, sem acesso a registros brutos ou ao estado interno. O método foi validado tanto em benchmarks quanto em sistemas reais em produção, superando ataques existentes e resistindo a defesas aplicadas no nível da resposta.
Pesquisadores formalizam e demonstram 'ataques de inferencia de contexto': tecnicas que revelam o conteudo de dados sensiveis carregados silenciosamente no contexto de um agente de IA (por exemplo, registros medicos ou financeiros buscados por chamadas de ferramentas), sem precisar induzir o modelo a divulgar o conteudo diretamente. Uma unica estrategia de ataque atinge ate 100% de sucesso em conjuntos pequenos de candidatos e mantem alta eficacia mesmo quando o atacante nao conhece o template do contexto ou so tem acesso via um modelo substituto.
Pesquisadores apresentam o primeiro framework de ataque de inferencia de pertencimento (membership inference) especificamente desenhado para modelos de texto-para-fala (TTS) ajustados finamente sobre vozes privadas. Testado contra tres modelos comerciais de ponta (CosyVoice2, F5-TTS e XTTS-v2), o ataque atinge AUC acima de 0,80 -- chegando perto de 1,0 em cenarios favoraveis -- tanto para identificar se um falante especifico esteve nos dados de treinamento quanto se um trecho de fala especifico foi usado.
O ataque ProjRes (publicado no S&P 2026) consegue distinguir se um dado específico participou do treinamento de um LLM em aprendizado federado apenas observando o resíduo de projeção entre a representação candidata e o subespaço formado pelos gradientes visíveis ao servidor — sem acessar as saídas do modelo. O FISGuard neutraliza esse ataque fixando um subespaço de representação de baixa dimensão construído a partir de dados públicos, derrubando a AUC do ProjRes para próximo de 0,5 (equivalente a chute aleatório) com pouca perda de desempenho.
O aiXamine é uma plataforma de avaliação black-box que testa simultaneamente segurança, privacidade e alinhamento de segurança em LLMs, rodando 46 testes automatizados de red-teaming por modelo. Em mais de 5.000 execuções contra 120+ modelos, os autores encontraram uma 'taxa de segurança' (mais alinhamento gera mais recusas indevidas), privacidade quase independente das demais dimensões, e um colapso catastrófico de robustez em modelos destilados sem correção on-policy.
Pesquisadores demonstram um ataque onde conteúdo aparentemente relacionado à tarefa engana modelos DeepSeek e Claude a incluírem atributos protegidos (dados pessoais, credenciais) como argumentos de chamadas de ferramenta 'legítimas', mesmo com políticas de privacidade no prompt. Em benchmark controlado com 120 chamadas, a taxa de vazamento variou de 20,8% a 75% conforme o modelo, mostrando que políticas de privacidade em texto de prompt não bloqueiam o problema de forma confiável.
CacheTracer é uma técnica de medição que explora a reutilização de cache de prefixo em serviços de LLM como canal lateral para detectar quando dois revendedores de API distintos, na prática, compartilham o mesmo provedor de infraestrutura por trás dos panos. Testado contra 39 endpoints reais com 1,1 milhão de requisições, o estudo encontrou compartilhamento de cache em 37,1% dos pares analisados e uma hierarquia de dependência de até sete camadas.
Pesquisadores identificaram três canais distintos pelos quais gradientes compartilhados durante o treinamento federado de LLMs baseados em transformers vazam o texto original de treinamento, e propuseram o AEGIS, uma defesa leve que neutraliza os três ao mesmo tempo sem mudar a arquitetura do modelo. O trabalho, aceito na NDSS 2027, reduziu a taxa de recuperação de tokens a quase zero em 11 modelos e seis conjuntos de dados, inclusive contra atacantes adaptativos que conhecem a defesa.
Um grupo de pesquisadores japoneses propôs combinar duas técnicas de proteção — zerar aleatoriamente parte dos elementos do gradiente e cifrar as imagens de treinamento com chaves únicas por cliente e por imagem — para dificultar ataques de reconstrução de imagem em aprendizado federado com Vision Transformers. O método reduziu a informação visual recuperada pelo ataque APRIL sem adicionar perda de desempenho além da já causada pela própria cifragem.
Pesquisadores demonstraram que a simples presença de dados sensíveis (como números de cartão ou de seguridade social) no contexto de um LLM introduz correlações ocultas em respostas completamente benignas do modelo, permitindo reconstruir esses dados mesmo quando o modelo se recusa corretamente a repassá-los se pedido diretamente. Em oito modelos proprietários testados, segredos de 2 dígitos foram reconstruídos com precisão quase perfeita e segredos de 4 dígitos com 82% de acerto exato, e um adversário treinado com RL conseguiu extrair números completos de seguridade social de um agente em estilo de produção.
Um novo método de inversão de embeddings, batizado DAEI, consegue reconstruir texto original a partir de vetores de embedding que foram deliberadamente protegidos com ruído gaussiano — a defesa de privacidade mais comum contra ataques de inversão. O truque técnico é treinar um denoiser não supervisionado que remove o ruído de proteção antes de aplicar a inversão generativa, contornando o que os autores chamam de "armadilha do ruído duplo". Os ganhos relatados (até 154% em BLEU sobre a linha de base) sugerem que perturbação gaussiana isolada não é suficiente para proteger embeddings liberados publicamente.
O artigo mostra que a técnica de Geometric Data Perturbation (GDP), usada para aprendizado colaborativo preservando privacidade sem múltiplas rodadas de comunicação, pode ser quebrada quando o analista central conluia com alguns participantes: a matriz de âncoras compartilhada, necessária para alinhar as representações transformadas de cada participante, permite reconstruir exatamente os dados privados de participantes não coniventes. Como defesa, os autores propõem perturbar apenas a matriz de âncoras (em vez dos dados privados), o que preserva mais utilidade para o mesmo nível de vazamento medido.
O paper mostra que um adversário pode reforçar a inferência de atributos privados de uma pessoa apenas escolhendo quais dos seus posts públicos e autênticos expor a um modelo de inferência, sem alterar nenhum conteúdo. Os autores validam o ataque com testes estatísticos rigorosos em perfis sintéticos e no dataset PAN15, e implementam uma auditoria on-device em um Pixel 10 com atestação criptográfica para detectar esse tipo de manipulação.
Uma revisão sistemática consolida cinco linhas de pesquisa que, de forma independente, inverteram o uso de perturbações adversariais: em vez de atacar modelos de IA, dados, criadores e plataformas as usam para proteger conteúdo visual contra reconhecimento indevido, treinamento não autorizado, edição maliciosa e automação de agentes. Os autores concluem que a maioria dessas proteções ainda é validada só contra adversários estáticos ou fracamente adaptativos, com pouca evidência fora de benchmarks controlados.
Serviços de LLM em nuvem processam rotineiramente prompts sensíveis, e defesas de ofuscação como ObfusLM, SentinelLMs, TextObfuscator e DPNR prometem mitigar esse risco transformando a representação do prompt antes do envio. O DeepInvert, um ataque de inversão de embeddings semi-supervisionado, mostra que essa proteção é muito mais frágil do que se acreditava, recuperando 73,5% dos tokens originais contra o ObfusLM, ante 26,2% do melhor ataque anterior.
GoldenRetriever é um esquema de recuperação para RAG que roda inteiramente sob criptografia homomórfica, evitando que o servidor veja a consulta, os documentos ou os índices selecionados. Em vez do caro ranking top-k sob criptografia, o sistema usa seleção por limiar de similaridade, reduzindo a complexidade de quadrática para linear. Os autores reportam latência bem menor que abordagens anteriores baseadas em ranking, mantendo qualidade de recuperação competitiva.
TextCloak usa aprendizado por reforço para transformar textos em 'exemplos não aprendíveis' que preservam significado e naturalidade para leitores humanos, mas degradam a qualidade de LLMs treinados sem autorização sobre esse conteúdo. Diferente de métodos anteriores voltados a classificação, a técnica funciona em geração aberta e generaliza a diferentes arquiteturas de modelo. É uma ferramenta defensiva pensada para autores e editores que querem impedir scraping não consentido de conteúdo para treinamento de IA.
Pesquisadores identificam a interface de ferramentas (tool calling) como uma superfície de ataque negligenciada em agentes de IA com memória de longo prazo: uma ferramenta maliciosa pode exfiltrar dados privados de um usuário sem violar o isolamento entre contas. O ataque proposto, SPORE, consegue extrair 80% dos registros de memória quando não há limite de gatilhos, e ainda assim 47% com apenas 20 gatilhos, permitindo inclusive vincular os dados extraídos à identidade de usuários específicos.
SlotGuard é uma proposta para impedir que agentes de LLM vazem caminhos de arquivo, e-mails e credenciais capturados de saídas de ferramentas, logs de shell e leituras de arquivo que acabam anexadas ao transcript enviado ao provedor do modelo. Em vez de redação por placeholder — que os autores mostram ser frágil, perdendo referências entre turnos e destruindo estrutura útil ao raciocínio —, o sistema reescreve vínculos estruturais em "slots" tipados e substitui segredos por valores sintéticos que preservam o formato original.
O ataque CPPIA mostra que um provedor malicioso de código — distribuído via plataformas de hospedagem ou agentes de codificação — pode embutir lógica que, após o treinamento de um modelo com dados privados da vítima, permite ao atacante inferir propriedades globais confidenciais do dataset apenas consultando a API pública do modelo treinado. A técnica atinge 100% de precisão de ataque sem degradar a acurácia do modelo e sem exigir modelos sombra.
Aceito nos Proceedings on Privacy Enhancing Technologies (PoPETs) 2026, o estudo propõe três técnicas — label flipping, injeção de gatilho de backdoor e fingerprinting de modelo — para que clientes de Federated Learning verifiquem, do próprio lado, se um orquestrador desonesto está manipulando a agregação para induzir overfitting direcionado contra eles. As técnicas detectam a manipulação em apenas 1 a 2 rodadas de treinamento, com F1-score de até 0,7 em ataques de cliente único.
Pesquisadores da Cereblab descobriram que o Grok Build, ferramenta de codificação assistida por IA da xAI/SpaceX, empacotava repositórios inteiros de usuários em git bundles e os enviava para armazenamento em nuvem do Google, com retenção de dados ativada por padrão para contas não-enterprise. Após a repercussão negativa, a empresa desligou a retenção padrão, apagou os dados retidos e liberou o código-fonte (cerca de 844 mil linhas de Rust) para auditoria pública, ainda que resquícios do código de upload continuem presentes no repositório, apenas desativados.
Pesquisadores apontam uma falha conceitual nos métodos atuais de proteção de privacidade em RAG: eles tratam o risco de vazamento como uma propriedade fixa de cada documento, ignorando que o risco real depende de qual pergunta o usuário faz. O framework proposto, PA-HDP, avalia o risco dinamicamente por consulta e aplica privacidade diferencial hierárquica apenas ao conteúdo que se torna sensível naquele contexto específico.
O trabalho propõe NFSA, um protocolo de agregação segura para federated learning que combina Shamir's Secret Sharing com PRF aditiva de duas partes para eliminar a necessidade de um servidor central repassar segredos entre os participantes, reduzindo overhead de comunicação e a superfície de risco associada a esse repasse. Os autores reportam ganhos de até 100x em eficiência de comunicação e redução de até 75% no tempo de computação do cliente em relação a esquemas anteriores.