JevAdvBench expõe que modelos de decisão automatizada podem ser manipulados por uma única opinião não verificada no estado de entrada

Modelos RLCD (reinforcement learning for calibrated decisions) ocupam um nicho específico e cada vez mais comum em automação: eles respondem uma pergunta tipada sobre um estado de entrada -- uma probabilidade, uma escolha entre opções, uma nota -- e o software que os consome age sobre essa resposta sem que uma pessoa a leia antes. Isso é diferente de um LLM generativo comum, e é justamente essa diferença que torna a avaliação de robustez adversarial mais difícil: benchmarks adversariais tradicionais medem o que o modelo gera ou executa, mas um modelo RLCD não “gera” nada no sentido usual -- ele sempre devolve uma resposta bem-formada dentro do schema esperado, mesmo quando manipulado, então não existe um sinal óbvio de “a resposta ficou estranha” para detectar o ataque.

A solução metodológica dos autores é engenhosa: em vez de comparar a resposta atacada contra um rótulo de verdade externo (que muitas vezes nem existe, ou vem do próprio modelo), eles comparam a decisão sob ataque contra a decisão limpa do mesmo modelo para o mesmo caso, e calibram essa comparação contra o ruído natural de reexecutar a mesma pergunta sem alteração nenhuma (já que respostas idênticas podem variar entre execuções). Sobre essa base, o JevAdvBench introduz 812 perguntas tipadas em 66 cenários e uma suíte de 9.744 variantes de ataque de edição única, cada uma alterando exatamente uma parte da requisição -- com confirmação, via contagem de tokens cobrados pela API, de que a edição de fato chegou ao modelo (e não foi filtrada antes).

Os resultados no modelo jev-1.13.0 traçam um contraste revelador entre tipos de manipulação: reescrever a pergunta em palavras diferentes (rewording) mantém a decisão dentro de 1,2 ponto percentual da linha de base de reexecução -- ou seja, o modelo é robusto a variação estilística inofensiva. Mas anexar ao estado de entrada uma única opinião não verificada (por exemplo, um comentário de terceiro embutido nos dados que o modelo está avaliando) flipa 12,1% das decisões, um número estatisticamente empatado com o comando malicioso mais forte da suíte (10,1% de sucesso) -- e o mesmo ataque de opinião derruba 38% das respostas antes confiantes para abaixo do limiar de 0,8 que as roteava automaticamente para revisão humana, efetivamente sobrecarregando a fila de revisão manual como efeito colateral.

A conclusão prática dos autores é direta e generaliza além do produto específico testado: qualquer aplicação que trate a saída de um modelo RLCD como uma decisão automática confiável precisa tratar o “estado” de entrada -- os dados sobre os quais a decisão é tomada, não só o comando explícito do usuário -- como entrada não confiável e potencialmente adversarial, no mesmo espírito de por que se trata conteúdo de terceiros como não confiável em prompt injection de LLMs generativos. Isso é particularmente relevante porque esse tipo de modelo tende a ser usado exatamente onde a automação sem supervisão humana é o ponto de venda (triagem, scoring de risco, moderação automatizada), então o custo de uma manipulação bem-sucedida tende a ser mais direto e menos visível do que num chatbot conversacional.