Estudo estabelece limite estatístico para detectar a origem de uma imagem via pixels sob ataque adversarial
Pesquisadores derivam o limite teórico exato de quão bem qualquer verificador baseado apenas em pixels pode distinguir se uma imagem é real ou gerada por IA quando um adversário pode editá-la antes da verificação, e mostram que verificadores públicos de CLIP falham bem antes de atingir esse limite. O trabalho também demonstra um ataque surrogate de caixa preta que explora a possibilidade de emular o verificador alvo para escalar rapidamente a taxa de aceitação de imagens falsas.
A pergunta que motiva o artigo é central para toda a indústria de detecção de conteúdo gerado por IA: até que ponto pixels sozinhos conseguem revelar se uma imagem veio de uma câmera, de um gerador de IA qualquer, ou de um gerador específico, quando o conteúdo pode ter sido editado antes de chegar ao verificador? Os autores formalizam isso como um problema de verificação fonte-alvo sob deslocamento de distribuição adversarial, e não como um simples problema de classificação estática.
O primeiro resultado é um limite minimax: a maior margem robusta de aceitação que qualquer verificador image-only pode atingir é exatamente igual à distância de variação total mínima entre a distribuição alvo e o conjunto de distribuições fonte atacadas -- uma quantidade que depende só da fonte, do alvo e da classe de edições permitidas, não da arquitetura do verificador. Na prática, isso significa que existe um teto de desempenho que nenhum verificador, por mais sofisticado, consegue superar contra um adversário com um orçamento de edição suficientemente rico -- o limite é uma propriedade do problema, não da implementação.
O segundo resultado explica por que verificadores implantados na prática falham antes mesmo de chegar perto desse teto teórico: se um atacante consegue emular o comportamento do verificador na região de ataque com erro ε (por exemplo, treinando um substituto a partir de consultas ou de features públicas), um ataque surrogate de caixa preta atinge uma taxa de aceitação do alvo dentro de 2ε do ótimo de caixa branca. Isso é agravado pelo fato de que cabeças de decisão logísticas e softmax construídas sobre features públicas (como embeddings do CLIP) são identificáveis a partir de acesso aproximado a scores, dando ao atacante um caminho relativamente barato para reconstruir um substituto eficaz.
Empiricamente, verificadores públicos baseados em CLIP falharam sob ataques de pixel direcionados nos benchmarks testados (pares real/difusão com o mesmo prompt), enquanto um verificador ResNet-18 mostrou transferência parcial entre a direção falso-para-real. Uma mitigação parcial testada -- dar apenas feedback binário com opção de abstenção, em vez de expor o score contínuo -- reduziu o sucesso do ataque medido, mas os autores são explícitos que um limite superior empírico positivo não equivale a uma prova de robustez. Na prática, isso é um alerta direto para qualquer plataforma que exponha publicamente um classificador de “imagem gerada por IA” com score ou API de consulta: a própria exposição do verificador é o que habilita a construção do substituto que o derrota.