JevAdvBench expõe que modelos de decisão automatizada podem ser manipulados por uma única opinião não verificada no estado de entrada
Modelos treinados com reinforcement learning para decisões calibradas (RLCD) retornam probabilidades ou escolhas que sistemas automatizados executam sem revisão humana, mas sua robustez nunca havia sido medida de forma rigorosa porque eles sempre produzem uma resposta bem-formada, mesmo sob manipulação. O JevAdvBench, com 812 perguntas e quase 10 mil variantes de ataque, mostra que no modelo jev-1.13.0 uma única opinião não verificada anexada ao estado de entrada flipa 12,1% das decisões -- estatisticamente empatado com o comando malicioso mais eficaz testado.
Fonte ↗