Pesquisa mostra que texto de log falso engana juízes de IA em até 90% dos casos em agentes de geração de vídeo
Um estudo com agentes de geração de vídeo mostra que, quando o log de execução (trace) reporta falsamente que uma ferramenta teve sucesso, juízes multimodais baseados em modelos Qwen-VL aceitam de 78% a 90% dos vídeos com falha visual real, contra apenas 7%-19% quando esse texto auxiliar não é mostrado — mesmo quando o juiz recebe a instrução explícita de usar somente os frames. Modelos de juiz maiores e de ponta se mostraram resistentes ao mesmo ataque, sugerindo que a vulnerabilidade é uma característica aprendida de modelos menores, e não do desenho da tarefa.
Fonte ↗