Framework MarkSec expõe fragilidade de marcas d'água de LLMs quando a qualidade do texto é exigida

Watermarking de LLM é a técnica que embute um padrão estatístico imperceptível no texto gerado por um modelo, permitindo depois provar que aquele texto veio de determinado sistema de IA -- uma peça importante para rastrear desinformação gerada por IA, detectar plágio acadêmico ou cumprir regulações de rotulagem de conteúdo sintético. Os ataques contra essa marca se dividem em três famílias: stealing (recuperar informação sobre a marca para poder removê-la ou falsificá-la), scrubbing (remover o sinal do watermark sem descobrir como ele funciona) e spoofing (forjar texto que passa como watermarked sem ter sido gerado pelo modelo original, o que pode ser usado para incriminar falsamente um sistema).

O problema identificado pelo artigo é metodológico: a literatura estudava essas três famílias de forma isolada, com calibração de detector, definições de métrica e protocolos de relato diferentes entre trabalhos, tornando impossível comparar de forma justa qual ataque é realmente mais eficaz. Pior, a maioria das avaliações media sucesso do ataque (o watermark foi removido/forjado?) separadamente da qualidade do texto resultante, então um ataque podia "vencer" destruindo completamente a legibilidade do texto -- uma vitória inútil na prática.

O MarkSec resolve isso propondo uma métrica de sucesso de ataque restrita por qualidade, que só conta como bem-sucedido um ataque que preserva a legibilidade e coerência do texto, e aplicando-a de forma consistente a várias famílias de watermark, ataques, LLMs e datasets. Os resultados reordenam o ranking de eficácia: ataques que pareciam mais fortes olhando só a taxa de remoção do watermark caem para trás quando a restrição de qualidade é imposta, enquanto uma reescrita genérica simples (usar outro LLM para reescrever o texto, sem nenhuma técnica específica contra watermark) se mantém como baseline forte e competitiva em várias famílias.

A implicação prática é dupla: para quem constrói sistemas de watermarking, o benchmark mostra que a métrica usada para validar robustez importa tanto quanto a técnica de watermark em si -- validar só contra remoção "a qualquer custo de qualidade" dá uma falsa sensação de segurança. Para quem depende de watermarking como prova de proveniência (jornalismo, integridade acadêmica, moderação de conteúdo), o resultado é um alerta de que uma reescrita trivial e barata, sem nenhum ataque sofisticado, já é o suficiente para comprometer marcas d'água em muitos cenários reais.