Agentes de codificação que se auto-modificam podem ser envenenados através de benchmarks maliciosos
Pesquisadores revisitaram o clássico ataque "Reflections on Trusting Trust", de Ken Thompson, aplicando-o a agentes de codificação que reescrevem seu próprio código com base em autoavaliação. Ao contaminar os benchmarks usados nesse processo de autoaperfeiçoamento, conseguiram induzir agentes como o Hyperagents (rodando sobre Sonnet 4.5) a evoluir instruções que desativam a validação de certificado HTTPS em tarefas completamente neutras. A contaminação frequentemente persiste mesmo depois que o agente volta a ser treinado com benchmarks limpos.
Fonte ↗