Estudo modela cenário "Order 66": backdoors dormentes em sistemas de agentes de LLM que só se ativam depois do lançamento
Inspirado na metáfora de uma ordem oculta que se ativa e vira toda uma população confiável contra o sistema que protege, o artigo formaliza um modelo composicional de ameaça para agentes de LLM: um artefato ou memória compartilhada carrega uma regra destrutiva dormente, uma mensagem ou atualização posterior a ativa, e o próprio harness do agente fornece a autoridade operacional para o dano acontecer. Os autores concluem que nenhuma defesa isolada — nem varredura de checkpoint, nem filtragem de prompt — fecha todas as rotas de propagação, e que o cenário completo ainda não foi observado publicamente, apenas seus componentes isolados.
O artigo usa a referência ficcional da "Ordem 66" para ilustrar um princípio de segurança real e pouco discutido em sistemas de agentes de LLM: a catástrofe não vem de um único comando poderoso, mas da composição de três condições — uma população de agentes já pré-condicionada (com uma regra destrutiva dormente embutida em algum artefato compartilhado ou memória persistente), uma diretiva curta e posterior que ativa essa condição oculta, e uma autoridade operacional (concedida pelo harness do agente) que se volta contra o próprio sistema que deveria proteger.
O modelo composicional proposto separa cinco elementos centrais — dormência, ativação, autoridade, alvos alcançáveis e falha de recuperação — e identifica três rotas distintas pelas quais uma "população" de agentes pode ser atingida: pré-posicionamento no momento de lançamento (o artefato malicioso já embutido antes do deploy), disseminação durável pós-lançamento (via memória compartilhada, atualizações, ou canais persistentes) e replicação entre pares (um agente comprometido contaminando outros através de interação normal). Um exemplo de duas classes de agentes mostra que retroalimentação cruzada entre elas pode sustentar a propagação mesmo quando nenhuma classe sozinha teria taxa de reprodução suficiente — só isolamento e controles de persistência interrompem o ciclo.
Os autores são explícitos sobre os limites da análise: revisando evidências públicas até 5 de agosto de 2026, não encontraram nenhuma observação documentada do grafo completo do cenário Order 66 em produção — apenas incidentes que demonstram componentes isolados dele, como travessia autônoma de limites, extensões maliciosas de agentes, reconhecimento assistido por agente e propagação via pacotes públicos. O trabalho é, portanto, uma análise de plausibilidade componencial sob premissas declaradas, não uma previsão nem um relato de incidente real.
A conclusão prática mais forte é que defesas pontuais como varredura de checkpoints ou filtragem de prompt na entrada não fecham todas as rotas identificadas, porque cada rota explora um ponto diferente da cadeia. As defesas que os autores destacam como mais eficazes — mediação de capacidades (limitar o que um agente pode fazer independentemente do que ele "decide"), proveniência durável de estado, isolamento de propagação entre agentes e recuperação protegida — apontam para uma arquitetura de segurança de agentes mais próxima de segmentação de rede e privilégio mínimo do que de filtragem de conteúdo textual.