Ferramenta detecta, via análise de ativações, quando o treinamento de segurança de um modelo foi removido ou contornado
Pesquisadores apresentam o AMS (Activation-based Model Scanner), que detecta modificações no treinamento de segurança de LLMs medindo a geometria de conceitos relacionados a conteúdo nocivo no espaço de ativações do modelo. Testado em 14 configurações de quatro famílias de modelos abertos (Llama, Gemma, Qwen, Mistral), o AMS classifica corretamente 10 de 14 casos em validação cruzada, e a métrica que ele extrai se correlaciona de forma estatisticamente significativa com o quanto o modelo de fato obedece a pedidos prejudiciais em testes de jailbreak.
A ideia central do trabalho é que treinamento de segurança bem-sucedido cria uma separação geométrica mensurável entre representações internas de conteúdo nocivo e benigno no espaço de ativações de um LLM. Modificações que visam remover ou contornar essa segurança — treinamento removido, "abliteração" por ortogonalização de pesos, fine-tunes "sem censura" — deixam rastros diferentes nessa geometria: algumas colapsam ou giram essa estrutura de separação, enquanto outras a preservam quase intacta apesar de mudarem o comportamento observável do modelo.
Os autores propõem uma taxonomia de quatro classes de modificação de segurança, cada uma com assinatura distinta no espaço de ativações: remoção do treinamento de segurança colapsa a separação entre clusters; abliteração por ortogonalização de pesos colapsa a separação e também gira a direção de recusa; abliteração por rotação sem colapso preserva a separação mas gira a direção; e fine-tuning puramente comportamental preserva tanto magnitude quanto direção — sendo esta última, notavelmente, indetectável por sondagem baseada apenas em ativações, o que os próprios autores reconhecem como um limite fundamental do método.
O AMS usa dois níveis de verificação: um limiar estatístico sobre a magnitude dessa separação (que detecta as duas primeiras classes) e uma verificação de similaridade de direção (que detecta a terceira). Em testes de conformidade comportamental com 20 prompts do benchmark JailbreakBench por modelo, o sigma medido pelo AMS na dimensão de conteúdo nocivo se correlacionou com a taxa de obediência a pedidos prejudiciais (r = -0,546, p = 0,043) — uma correlação estatisticamente significativa, ainda que com ruído considerável, mostrando que a métrica geométrica tem relação real, não apenas teórica, com o comportamento observável do modelo.
A relevância prática está na cadeia de confiança de modelos de peso aberto: hoje é comum redistribuir variantes "sem censura" ou "abliteradas" de modelos populares, muitas vezes sem deixar claro para quem baixa o modelo até que ponto as salvaguardas originais foram alteradas. Uma ferramenta capaz de auditar isso por fora, sem depender de testes comportamentais exaustivos, seria valiosa para plataformas que hospedam ou redistribuem pesos de terceiros — mas o próprio artigo deixa claro que a classe mais discreta de modificação, o fine-tuning puramente comportamental que preserva a geometria original, continua sendo um ponto cego real, não coberto por esse tipo de auditoria estrutural.