Pesquisa mostra que falhas em agentes de segurança de longo horizonte mudam de causa entre gerações de modelo
Um novo método de diagnóstico instrumenta tarefas de segurança executadas por agentes LLM com checkpoints, separando falhas que ocorrem antes de o agente sequer alcançar a capacidade necessária das falhas que ocorrem depois. Aplicado ao Gemini 2.5 e 3.7 Flash em tarefas de reutilização de estado observado, o estudo mostra que uma mesma intervenção de prompt que ajuda uma geração de modelo pode não ajudar, ou até atrapalhar, a geração seguinte.
Agentes de LLM que executam tarefas de segurança de longo horizonte — por exemplo, descobrir uma credencial numa etapa e reutilizá-la várias interações depois, ou decidir uma nova estratégia após uma tentativa fracassada — costumam ser avaliados apenas pela taxa de sucesso da tarefa como um todo. O problema é que essa métrica agregada esconde onde exatamente a cadeia quebrou: o agente pode falhar muito antes do ponto em que a capacidade de interesse (por exemplo, reconhecer e explorar um serviço) seria sequer testada.
Os autores propõem instrumentar as tarefas com checkpoints que marcam o momento em que uma informação ou estado relevante é exposto ao agente, permitindo separar 'falhou antes de observar o que precisava' de 'observou, mas não conseguiu agir corretamente depois'. Usando essa metodologia em quatro famílias de tarefas (reuso tardio de informação descoberta, reuso de estado observado, recuperação de estratégias falhas, decisão sob incerteza), eles descobriram que boa parte das falhas do Gemini 2.5 Flash em tarefas de reuso de estado acontece antes mesmo de o modelo observar o estado que precisaria reutilizar depois — não é um problema de raciocínio, é um problema de atenção/observação.
O resultado mais interessante do ponto de vista prático é que uma orientação de desambiguação de protocolo (dizer explicitamente ao modelo como interpretar o estado da tarefa) elevou a taxa de observação de estado de 65,5% para 95,4% no Gemini 2.5 Flash em um estudo pré-registrado com 92 sementes — mas repetir exatamente o mesmo experimento no Gemini 3.7 Flash produziu o efeito oposto, e a observação de estado deixou de prever de forma confiável a conclusão da tarefa. Ou seja, a causa dominante de falha migra entre gerações de modelo, o que invalida a prática comum de aplicar a mesma correção de prompt indefinidamente.
Para quem constrói ou avalia agentes autônomos usados em pentest, red-team automatizado ou operações de segurança contínuas, a implicação é direta: taxa de sucesso fim-a-fim não diz onde investir esforço de engenharia, e uma intervenção validada numa versão de modelo precisa ser revalidada a cada atualização, porque o gargalo dominante pode ter se movido do 'observar' para o 'agir' ou vice-versa.