"Falsos profetas": pesquisa expõe falhas em modelos de mundo que podem sequestrar agentes de IA autônomos
O artigo mostra que os "modelos de mundo" usados para dar a agentes de IA a capacidade de prever o resultado de suas próprias ações introduzem uma nova superfície de ataque: um adversário pode induzir previsões erradas em até 95% dos casos testados, levando agentes baseados em terminal a executar comandos maliciosos ou vazar dados sensíveis. Os autores argumentam que parte do risco é intrínseca à própria ideia de modelagem aproximada de mundo, não apenas um bug de implementação.
Fonte ↗