tema

#auditoria

5 publicações marcadas com esta tag.

risco médioOS-2026-602 · 2026-10-06

Localize-and-Detect audita modelos de instrucao em busca de envenenamento direcionado a uma unica tarefa

O metodo Localize-and-Detect localiza, em modo caixa-preta, tarefas de instrucao especificas que foram deliberadamente envenenadas durante o fine-tuning para produzir conteudo tendencioso, sem que haja um gatilho explicito no texto de entrada. Avaliado em 216 modelos envenenados de duas familias diferentes, o metodo identificou com sucesso as tarefas-alvo e o conteudo injetado, com poucos falsos positivos em modelos limpos.

#artigo-cientifico #envenenamento-de-dados #llm #fine-tuning #auditoria #caixa-preta

Fonte ↗

risco médioOS-2026-547 · 2026-09-29

Estudo de complexidade mostra que certificar que um LLM não vaza um segredo é muito mais caro do que checar um vazamento pontual

O trabalho formaliza a diferença entre verificar que uma execução específica vazou um segredo de um modelo de linguagem e certificar que nenhuma execução dentro de um domínio de prompts jamais vazaria — mostrando que a primeira tarefa é fácil, mas a segunda é NP-completa ou pior, dependendo do modelo de decodificação. Experimentos com segredos plantados mostram que uma auditoria por amostragem de 256 prompts, sobre um domínio de 4.096, deixa passar despercebido o vazamento em 41% dos pares testados.

#artigo-cientifico #vazamento-de-dados #auditoria #llm #complexidade-computacional #red-team

Fonte ↗

risco médioOS-2026-481 · 2026-09-21

Conformal Privacy Auditing calcula, com garantia estatística, o risco de reidentificação de texto por ataques com LLM

Cada vez mais, o vazamento prático de identidade a partir de texto publicado é obra de atacantes que combinam LLMs com conhecimento auxiliar para ligar documentos a pessoas reais, mas as auditorias existentes não dão garantia estatística formal desse risco por documento. O CPA (Conformal Privacy Auditing) usa calibração conforme para gerar, para cada documento a ser publicado, um certificado do risco de reidentificação contra esse tipo de adversário.

#reidentificacao #privacidade #llm #auditoria #anonimizacao #artigo-cientifico

Fonte ↗

risco médioOS-2026-465 · 2026-09-18

Pesquisa identifica provedores de LLM inflando cobranças ao alongar respostas artificialmente, e 7 de 15 APIs reais são sinalizadas

Em serviços de LLM cobrados por token, provedores desonestos podem manipular a geração para inflar o número de tokens de saída preservando a utilidade da tarefa — o que os autores batizam de Provider-Side Token Inflation Attack (PTIA). Um método de auditoria por sonda única, sem precisar de modelo de referência confiável, detecta esse comportamento com 85,1% de acerto médio e menos de 2% de falsos positivos, e ao aplicá-lo a 15 serviços comerciais reais de API LLM, sinalizou 7 deles como consistentes com PTIA.

#artigo-cientifico #llm #fraude #auditoria #apis-comerciais

Fonte ↗

risco médioOS-2026-220 · 2026-08-12

Modelos de IA que se retreinam sozinhos em produção quebram a auditoria tradicional — e um provedor desonesto pode esconder isso

O artigo aborda a governança de modelos generativos auto-adaptativos — que atualizam os próprios pesos durante a operação em produção — mostrando que essa prática invalida a premissa de validação pontual usada na gestão tradicional de risco de modelo. Na primeira parte, os autores propõem uma arquitetura de telemetria com cadeia Merkle à prova de adulteração e logging orientado a eventos; na segunda, tratam o cenário em que o próprio provedor do modelo é adversário, formalizando o "Model Hiding Problem" e catalogando seis estratégias distintas para esconder atualizações de aprendizado que deveriam disparar revisão obrigatória, com uma contramedida formal para cada uma.

#artigo-cientifico #governanca-de-ia #modelos-auto-adaptativos #auditoria #integridade-de-modelo

Fonte ↗