Pesquisa mede quanto um LLM consegue inferir sobre pessoas e empresas a partir de pegadas públicas, e propõe defesa sem IA

O problema de segurança e privacidade endereçado aqui é sutil e diferente de vazamento de dados no sentido tradicional: não se trata de um modelo memorizar e reexpor dados de treinamento, mas de um LLM usado como ferramenta de inferência sobre uma “pegada pública” legítima (posts, registros, documentos já publicados por uma pessoa ou empresa) para deduzir fatos privados que nunca foram declarados explicitamente em nenhum desses textos. Isso é relevante como AI-como-ferramenta-de-ataque porque é exatamente essa capacidade de agregação e inferência barata que analistas de OSINT, atacantes de engenharia social e investigadores mal-intencionados podem explorar contra alvos corporativos ou individuais usando apenas um LLM comercial e informação já pública.

A contribuição metodológica central do artigo é reconhecer que medir esse risco corretamente exige separar duas coisas que benchmarks ingênuos costumam confundir: quão bem um sistema de inferência “lê” um registro de informação (acurácia de leitura) e quanta informação o próprio registro realmente vaza (taxa de vazamento). Um sistema pode acertar respostas simplesmente porque é bom em adivinhar a classe majoritária, sem de fato estar explorando vazamento real de informação — e os autores demonstram isso empiricamente: em um instrumento de 128 perguntas sobre dezesseis empresas sintéticas, quase metade das perguntas nunca é respondida corretamente por nenhum dos seis leitores testados (quatro deles LLMs), e um palpite de classe majoritária já explica a maior parte da pontuação de qualquer leitor.

Para isolar o sinal real, os autores introduzem um protocolo de injeção que cria células de teste com suporte conhecido (ou seja, onde se sabe exatamente quanto de vazamento genuíno existe) e constroem um analisador que roda inteiramente na CPU do próprio dono dos dados, sem nenhum LLM em tempo de análise: combina regras determinísticas, solvers estatísticos e um encoder pequeno (106M de parâmetros) treinado do zero que apenas marca evidência textual literal e nunca gera texto livre, produzindo para cada resposta um certificado gradual cuja prova registrada pode ser reproduzida (replay) de forma auditável. Esse analisador certificado acerta 93% dos casos resolvidos, contra 49-73% das respostas “com citação” dos LLMs comparados — cujas citações, os autores notam, são produzidas ao lado da resposta, não a partir dela, ou seja, servem mais como justificativa pós-hoc do que como prova real de onde veio a inferência.

A parte mais acionável do trabalho para quem quer se proteger é a avaliação de uma defesa de reescrita: em vez de simplesmente deletar informação sensível de um registro público (o que degrada a utilidade do registro para fins legítimos), os autores testam reescrever a “portadora” de cada fato como uma afirmação verdadeira, porém mais genérica e menos precisa. Essa defesa consegue esconder cada fato de suporte único contra quatro adversários LLM diferentes, a um custo de edição 40% menor do que deletar a informação inteira — e, em um segundo experimento sobre dezesseis pessoas sintéticas, um planejador de “iscas” (decoys) sem nenhum LLM envolvido consegue reduzir pela metade os acertos do estimador que ele mira, sem que esse efeito se generalize para um segundo estimador diferente, o que sugere que a defesa precisa ser calibrada por adversário e não é uma solução universal. No conjunto, o artigo oferece tanto uma métrica honesta para avaliar exposição a inferência via LLM quanto uma defesa prática e computacionalmente barata (sem depender de outro LLM) que organizações e indivíduos preocupados com OSINT-por-IA podem considerar antes de publicar ou de redigir informação pública.