LIDAR: técnica identifica qual modelo de IA está por trás de um agente de codificação só observando seu comportamento
Pesquisadores propõem o LIDAR, um método de fingerprinting em caixa-preta que identifica qual LLM está operando por trás de um agente de codificação analisando como ele verifica edições, se recupera de falhas transitórias e resolve conflitos entre especificação e teste — sem precisar de acesso a pesos ou logits do modelo. Testado em 36 modelos de sete famílias e dois harnesses de agente, o método supera técnicas anteriores de fingerprinting e auditoria de API, com aplicação direta em detectar trocas silenciosas de modelo em produtos de agente.
Produtos comerciais de agente de codificação frequentemente não expõem de forma verificável qual modelo está sendo executado por trás da interface — um provedor pode trocar silenciosamente o modelo (por exemplo, para reduzir custo) sem que o cliente perceba, e essa troca pode alterar diretamente decisões relevantes de segurança, como se o agente verifica uma mudança antes de aplicá-la ou como ele se recupera de uma falha de execução. As técnicas de fingerprinting existentes inferem identidade a partir da distribuição de texto ou tokens de saída direta, um sinal que se perde quando o modelo está encapsulado atrás de instruções de sistema, ferramentas e lógica de controlador do harness do agente.
O LIDAR contorna isso observando decisões e ações em tempo de execução, não o texto final: três pares de sondas provocam comportamentos específicos do agente — verificação pós-edição, recuperação de falha transitória e resolução de conflito entre especificação e teste — e o padrão de resposta a cada sonda funciona como impressão digital do modelo subjacente. O método combina características em nível de instância e de distribuição, comparando a trajetória observada com referências limpas por meio de um identificador probabilístico leve, e funciona inteiramente em caixa-preta, sem acesso a pesos, logits ou internals do provedor.
Os resultados — alta acurácia top-1 e MRR em 36 modelos de sete famílias, testados em dois harnesses de agente diferentes, superando quatro baselines existentes de fingerprinting e auditoria de API — mostram que o comportamento de execução de um agente carrega evidência de identidade do modelo que sobrevive mesmo depois de passar por instruções de sistema e lógica de controlador.
A aplicação prática mais direta é de auditoria e integridade de cadeia de suprimentos: uma empresa que contrata um produto de agente de codificação com garantia contratual de usar um modelo específico (por exemplo, por motivos de compliance ou qualidade) hoje não tem como verificar isso de fora; uma técnica como o LIDAR dá a clientes e auditores um meio independente de detectar substituições não anunciadas, similar em espírito a uma verificação de integridade de fornecedor.