Geradores de imagem comerciais produzem desinformacao visual convincente em ate 95% dos casos sob ataque
Modelos comerciais de geracao de imagem conseguem reconhecer que uma afirmacao e falsa quando perguntados diretamente, mas mesmo assim renderizam essa mesma afirmacao como uma imagem de evidencia visualmente convincente, como uma foto de noticia ou uma pagina de livro didatico. Um novo benchmark e um ataque de otimizacao black-box mostram que mais de 70% dos prompts com alegacoes falsas ja geram imagens fieis a desinformacao em modelos comerciais, taxa que sobe para 95% com o ataque proposto.
A geracao de imagens evoluiu a ponto de produzir artefatos visuais ricos em texto e aparencia realista, dificeis de distinguir de evidencia do mundo real, como reportagens jornalisticas ou paginas de livros. Isso cria um risco direto de desinformacao visual: se um modelo consegue gerar uma imagem realista de qualquer coisa, ele tambem consegue gerar, com a mesma facilidade, uma imagem realista de uma alegacao factualmente falsa. Os autores documentam uma inconsistencia reveladora de alinhamento em modelos comerciais como o GPT-Image-2, o proprio modelo consegue identificar corretamente que uma alegacao e falsa quando questionado sobre ela em texto, mas, ao receber o pedido de gerar uma imagem que retrate essa alegacao, produz a mesma imagem como se fosse evidencia visual credivel.
Isso acontece porque as salvaguardas de alinhamento atuais foram desenhadas para julgar o que uma imagem mostra, violencia, conteudo explicito, simbolos proibidos, e nao o que uma imagem afirma sobre o mundo. Benchmarks de red-teaming existentes seguem focados em conteudo nocivo convencional e dizem pouco sobre onde estao os limites de alinhamento para desinformacao visual, especialmente em produtos comerciais fechados.
Para preencher essa lacuna, os autores construiram o EpiReal-Bench, com 10 mil prompts de alegacoes falsas e 10 mil imagens geradas correspondentes, cobrindo 10 categorias de alegacoes do mundo real e 10 formatos visuais credíveis (capturas de noticiario, paginas de livro didatico, documentos oficiais, entre outros). Em cima disso, desenvolveram o EpiReal-Attack, um framework de otimizacao black-box guiado por selecao de Pareto e feedback multimodal, que busca comandos capazes de contornar as salvaguardas de alinhamento preservando realismo visual, legibilidade do texto na imagem e fidelidade semantica a alegacao original.
Os numeros sao preocupantes mesmo sem o ataque: mais de 70% dos prompts com alegacoes falsas ja geram, em quatro modelos comerciais testados, imagens que retratam fielmente a desinformacao correspondente, e o EpiReal-Attack eleva essa taxa para 95%. Como os proprios autores destacam, essas ferramentas estao a um clique de distancia e produzem conteudo barato de disseminar e dificil de desacreditar, o que torna esse um vetor de risco concreto para fabricacao de evidencia falsa em escala, boatos, fraudes documentais e campanhas de desinformacao, com uma dimensao de alinhamento ate agora largamente desprotegida pelos proprios fornecedores dos modelos.