EchoCoT extrai o raciocínio oculto de modelos de linguagem proprietários via API

Modelos de raciocínio de grande porte (LRMs) geram uma cadeia de pensamento (chain-of-thought, CoT) interna antes de responder, e provedores como Google e OpenAI escondem essa cadeia do usuário final — entre outros motivos, porque ela representa um ativo valioso de propriedade intelectual (o "jeito de pensar" do modelo) e porque expô-la poderia facilitar contornar guardrails. Até agora, presumia-se que essa cadeia oculta era, na prática, inacessível via API. Este trabalho mostra que essa suposição era otimista.

Os autores identificam uma "superfície de replay de raciocínio" entre chamadas de ferramentas (tool calls) — um ponto do fluxo de interação em que o modelo, ao processar o resultado de uma ferramenta, acaba reexpondo fragmentos do seu raciocínio anterior de um jeito que não era o pretendido pelo provedor. O EchoCoT explora isso com um ataque iterativo de múltiplos passos, usando sinais de fidelidade retornados pela própria API para guiar a extração token a token, e complementa isso com um framework de otimização baseado em LLM que busca automaticamente uma "trajetória de injeção universal" eficaz em vários datasets diferentes.

Os números são expressivos: em modelos abertos, o EchoCoT chega a 66,4% de sucesso de extração quase literal, com o comprimento do texto extraído dentro de 10% do alvo real e pelo menos 90% dos tokens batendo exatamente com o CoT original. A mesma trajetória de ataque generaliza para datasets nunca vistos, alcançando até 80% de sucesso. Em modelos proprietários de fronteira — incluindo o Gemini-2.5 —, uma parte substancial dos CoTs extraídos bateu de perto com os comprimentos de raciocínio e resumos de CoT já divulgados publicamente pelos próprios provedores, e em um caso o ataque extraiu 33.463 tokens de um raciocínio-alvo de 32.948 tokens.

Na prática, isso estabelece a extração de chain-of-thought oculto como um risco de segurança concreto, e não apenas teórico, para qualquer provedor que dependa de manter o raciocínio interno do modelo em sigilo — seja por razões de propriedade intelectual, seja como camada adicional de defesa contra jailbreaks. O trabalho também serve de alerta de que a superfície de ataque de um LRM não se resume ao prompt de entrada e à resposta final: o próprio mecanismo de chamada de ferramentas, cada vez mais central em agentes de IA, pode vazar informação que o provedor pretendia manter oculta.