Modelos de IA que se retreinam sozinhos em produção quebram a auditoria tradicional — e um provedor desonesto pode esconder isso
O artigo aborda a governança de modelos generativos auto-adaptativos — que atualizam os próprios pesos durante a operação em produção — mostrando que essa prática invalida a premissa de validação pontual usada na gestão tradicional de risco de modelo. Na primeira parte, os autores propõem uma arquitetura de telemetria com cadeia Merkle à prova de adulteração e logging orientado a eventos; na segunda, tratam o cenário em que o próprio provedor do modelo é adversário, formalizando o "Model Hiding Problem" e catalogando seis estratégias distintas para esconder atualizações de aprendizado que deveriam disparar revisão obrigatória, com uma contramedida formal para cada uma.
Boa parte da governança de risco de modelo (model risk management) hoje assume um ciclo de vida estático: o modelo é desenvolvido, validado de forma independente e implantado sem modificação autônoma posterior. Sistemas generativos que continuam se auto-adaptando em produção — atualizando os próprios pesos com base em interações reais, sem retreinamento supervisionado tradicional — quebram essa premissa de forma fundamental: o modelo que passou na validação inicial pode não ser, semanas depois, o mesmo modelo que está de fato em produção, mesmo sem qualquer deploy formal de nova versão.
A primeira metade do artigo é construtiva: os autores desenvolvem uma arquitetura de telemetria rigorosa para esse tipo de sistema, operando simultaneamente em tempo discreto e contínuo. Isso inclui uma estatística suficiente mínima para fins de auditoria, uma cadeia Merkle à prova de adulteração para sequências discretas de pesos, garantindo que o histórico de atualizações não possa ser reescrito silenciosamente, uma generalização para tempo contínuo via cálculo de Itô, e um esquema de logging orientado a eventos baseado em tempos de parada de divergência KL — ou seja, o sistema registra uma atualização auditável quando a mudança de comportamento do modelo, medida estatisticamente, ultrapassa um limiar, em vez de logar tudo o tempo todo ou nada.
A segunda metade assume um cenário mais hostil: o que acontece quando o provedor do modelo é adversário e tem incentivo econômico para esconder atualizações de aprendizado que disparariam revisão regulatória obrigatória? Os autores formalizam isso como o Model Hiding Problem e catalogam seis estratégias distintas de ataque contra a arquitetura de telemetria proposta na primeira parte, cobrindo tanto tempo discreto quanto contínuo, junto com uma contramedida formal específica para cada uma — um exercício de red-teaming teórico aplicado à própria infraestrutura de auditoria, não ao modelo em si.
A conclusão prática dos autores é que telemetria contínua é necessária, mas não suficiente: mesmo com a arquitetura mais robusta de logging, ela reduz, mas nunca substitui completamente, a necessidade de auditoria invasiva periódica feita por terceiros. Para setores que já começam a lidar com IA que aprende continuamente em produção, esse framework é relevante como ponto de partida técnico para exigências regulatórias futuras — e como lembrete de que qualquer arquitetura de auditoria de IA precisa assumir, desde o design, que o próprio operador do sistema pode ser a parte que ela precisa vigiar.