Pesquisa mostra que texto de log falso engana juízes de IA em até 90% dos casos em agentes de geração de vídeo
Um estudo com agentes de geração de vídeo mostra que, quando o log de execução (trace) reporta falsamente que uma ferramenta teve sucesso, juízes multimodais baseados em modelos Qwen-VL aceitam de 78% a 90% dos vídeos com falha visual real, contra apenas 7%-19% quando esse texto auxiliar não é mostrado — mesmo quando o juiz recebe a instrução explícita de usar somente os frames. Modelos de juiz maiores e de ponta se mostraram resistentes ao mesmo ataque, sugerindo que a vulnerabilidade é uma característica aprendida de modelos menores, e não do desenho da tarefa.
Agentes de geração de vídeo modernos costumam funcionar em loop fechado: um LLM planeja as cenas, aciona um modelo texto-para-vídeo e um "juiz" multimodal avalia se o resultado final atende ao pedido, decidindo se o agente aceita o clipe ou tenta de novo. Para ajudar a diagnosticar falhas em fluxos longos, é comum expor ao juiz não só os frames do vídeo, mas também o trace de execução — o plano, a narração sintetizada, o log de chamadas de ferramenta. O artigo pergunta, com um desenho experimental controlado (mesmos frames, texto auxiliar variado), se esse texto extra desvia o julgamento de um requisito puramente visual.
A resposta é sim, e de forma dramática: em um benchmark de 109 clipes com dois eventos rotulados manualmente como visivelmente presentes ou visivelmente ausentes, um trace que relata sucesso da ferramenta fez três juízes Qwen-VL (7B, 8B e 32B) aceitarem de 78% a 90% dos vídeos com falha real — um salto enorme frente aos 7%-19% de aceitação indevida quando não havia texto auxiliar. Um trace que contradiz o vídeo (relatando falha) chega a fazer os juízes rejeitarem até 100% de clipes na verdade corretos. Uma instrução explícita de "usar apenas os frames" não removeu o efeito, o que indica que a contaminação está na forma como esses modelos aprenderam a confiar em logs de ferramenta, não em uma falha de instrução seguível.
Dois pontos tornam o achado mais sério do que um simples bug de prompt: primeiro, juízes fechados de ponta praticamente não foram afetados nos mesmos clipes, o que localiza a vulnerabilidade em modelos abertos menores comumente usados como juiz por custo — uma escolha de arquitetura, não um detalhe do benchmark. Segundo, e mais importante, a contaminação não exige nenhum agente adversário: em um loop de repetição com um planejador honesto que sempre tenta regenerar, a taxa de aprovação do juiz termina em 1,00 enquanto a taxa real validada por humanos fica em apenas 0,28 — e quando um verificador barato escreve seu próprio veredito no trace, esse erro é "lavado" para dentro de um juiz mais forte a jusante, produzindo 69% de falsos aceites.
Para qualquer pipeline agentic que usa um LLM como juiz/verificador — não só geração de vídeo — o resultado é um alerta direto sobre uma classe de ataque de baixo esforço: texto de log adjacente ao artefato avaliado pode ser manipulado (por um componente comprometido ou por um erro em cascata) para inflar artificialmente a taxa de sucesso relatada, sem que isso apareça em nenhuma métrica de qualidade do artefato final.