Poisoning sem tocar nos pesos: como wrapper e metadados de deploy podem sequestrar um modelo de IA
O paper demonstra que um desenvolvedor malicioso pode combinar um wrapper de aparência inofensiva com metadados de configuração (JSON/YAML) para alterar de forma determinística o comportamento de um LLM ou VLM após a geração, sem tocar nos pesos do modelo, nos dados de treino ou no backend de inferência. Testado contra quinze implantações comerciais e de código aberto, o ataque evade a maioria das defesas avaliadas, levando os autores a propor o middleware TIF-BAH como camada leve de verificação de integridade.
A segurança de modelos de IA em produção tende a se concentrar em proteger o que parece mais valioso — os pesos do modelo e os dados de treinamento — verificando hashes, assinaturas e procedência. Este trabalho aponta um ponto cego adjacente: pipelines de inferência modernos dependem tanto de artefatos textuais 'de segunda classe' quanto templates de prompt, scripts de pós-processamento e arquivos de configuração JSON/YAML, que moldam diretamente o comportamento observável do sistema mas raramente recebem o mesmo nível de proteção.
O ataque demonstrado, chamado de 'conjunctive poisoning', usa um portão condicional: o comportamento malicioso só é ativado quando duas condições coincidem — um marcador embutido no wrapper de prompt e metadados criptograficamente vinculados a esse marcador. Separadamente, nem o wrapper nem o arquivo de configuração parecem suspeitos a um revisor humano ou a um scanner automatizado; só a combinação dos dois ativa o comportamento alterado, o que é justamente o que torna esse ataque difícil de flagrar em revisão de código ou auditoria de configuração isolada.
Os autores testaram esse mecanismo contra quinze implantações de LLM/VLM comerciais e de código aberto, avaliando defesas como inspeção estática de metadados, scanners dedicados a wrapper, o PromptShield e assinatura de artefatos via SigStore, mecanismo já usado para verificar integridade de pacotes de software. O resultado implícito é que essas defesas, desenhadas para proteger pesos e binários ou para inspecionar componentes isoladamente, não cobrem bem essa interação especificamente construída entre dois arquivos textuais separados.
Como resposta, os autores propõem o TIF-BAH, um middleware leve que verifica a integridade do wrapper e registra atestações comportamentais durante a própria execução da inferência — uma abordagem de monitoramento em tempo de execução, em vez de checagem estática de artefato antes do deploy. Na prática, isso amplia a lista do que uma auditoria de cadeia de suprimentos de IA precisa cobrir: não basta assinar o modelo, é preciso tratar prompts, scripts de wrapper e arquivos de configuração como parte da superfície de ataque com o mesmo rigor — algo que hoje a maioria das organizações que fazem deploy de LLMs simplesmente não faz.