Conformal Privacy Auditing calcula, com garantia estatística, o risco de reidentificação de texto por ataques com LLM
Cada vez mais, o vazamento prático de identidade a partir de texto publicado é obra de atacantes que combinam LLMs com conhecimento auxiliar para ligar documentos a pessoas reais, mas as auditorias existentes não dão garantia estatística formal desse risco por documento. O CPA (Conformal Privacy Auditing) usa calibração conforme para gerar, para cada documento a ser publicado, um certificado do risco de reidentificação contra esse tipo de adversário.
A ameaça de reidentificação mudou de figura com a chegada de LLMs capazes de cruzar um texto anonimizado ou pseudonimizado com conhecimento de mundo e inferir, com boa precisão, quem é o autor ou o sujeito daquele texto — um tipo de ataque muito mais barato de escalar do que reidentificação clássica baseada em bases de dados estruturadas. O problema é que as auditorias de privacidade hoje em uso tipicamente reportam uma taxa de sucesso empírica para um pipeline de ataque específico, sem nenhuma garantia estatística de amostra finita; e proteções de tempo de treino, como privacidade diferencial, são difíceis de traduzir em uma decisão prática do tipo "posso publicar este documento específico ou não".
O CPA resolve isso emprestando a máquina da predição conforme (conformal prediction), uma técnica estatística livre de suposições sobre distribuição, para gerar, para cada documento candidato à publicação, um "conjunto de ambiguidade" de identidades candidatas que tem garantia de conter a identidade verdadeira com uma confiança escolhida pelo usuário, sob a suposição de permutabilidade dos dados de calibração. O tamanho desse conjunto vira, na prática, uma métrica interpretável de risco de vazamento: quanto menor o conjunto de identidades plausíveis que o ataque consegue produzir, maior o risco de reidentificação daquele documento específico. O framework funciona tanto contra atacantes com acesso a logits do modelo quanto contra atacantes que só conseguem fazer amostragem (sampling-only), o que cobre tanto auditoria de modelos abertos quanto de modelos proprietários acessados via API.
Os experimentos mostram que a cobertura calibrada do método se mantém através de múltiplos benchmarks de publicação de dados e configurações de atacante, e que a identificabilidade certificada muda de forma abrupta conforme o conhecimento auxiliar disponível ao atacante, a capacidade do LLM usado no ataque, e o mecanismo de publicação do dado variam — ou seja, pequenas mudanças em qualquer um desses três fatores podem mover um documento de "seguro" para "de alto risco" sob o mesmo critério de auditoria.
Para equipes que lidam com publicação de dados textuais (relatórios de pesquisa, datasets, transcrições anonimizadas), esse tipo de ferramenta oferece algo que faltava: uma forma de comparar, com base estatística e não em intuição, o risco de reidentificação entre diferentes mecanismos de anonimização e diferentes perfis de atacante equipado com LLM, antes da decisão de publicar.