Localize-and-Detect audita modelos de instrucao em busca de envenenamento direcionado a uma unica tarefa
O metodo Localize-and-Detect localiza, em modo caixa-preta, tarefas de instrucao especificas que foram deliberadamente envenenadas durante o fine-tuning para produzir conteudo tendencioso, sem que haja um gatilho explicito no texto de entrada. Avaliado em 216 modelos envenenados de duas familias diferentes, o metodo identificou com sucesso as tarefas-alvo e o conteudo injetado, com poucos falsos positivos em modelos limpos.
O trabalho ataca um tipo de ataque de envenenamento mais sutil que o backdoor classico: em vez de inserir um gatilho explicito (uma palavra ou padrao especifico que, quando presente na entrada, ativa um comportamento malicioso), o 'envenenamento de nivel de tarefa' (task-level poisoning) corrompe o conjunto de pares instrucao-resposta usado no fine-tuning de forma que o modelo passe a produzir conteudo tendencioso especificamente quando executa uma determinada tarefa -- por exemplo, sempre que resume noticias sobre um tema especifico, ou sempre que responde perguntas em uma categoria particular -- sem que exista um token ou frase isolada que sirva de gatilho detectavel.
Isso torna a deteccao tradicional de backdoor (procurar por gatilhos de texto anomalos) ineficaz, porque nao ha gatilho: o comportamento malicioso esta amarrado a semantica da tarefa, nao a sintaxe da entrada. A abordagem proposta funciona em duas etapas e exige apenas acesso caixa-preta as saidas do modelo: primeiro, uma etapa de localizacao compara as distribuicoes de proximo token entre o modelo base (antes do fine-tuning) e o modelo ajustado, procurando tarefas candidatas onde o comportamento diverge mais fortemente -- um sinal de que algo foi alterado especificamente para aquela tarefa; segundo, uma etapa de deteccao busca, dentro das tarefas pre-selecionadas, conteudo tendencioso repetido que aparece no modelo ajustado mas esta ausente no modelo base.
Os autores validaram o metodo em 216 modelos envenenados distribuidos em duas familias de modelos diferentes e varios cenarios de envenenamento, mostrando deteccao eficaz com desempenho correlacionado a taxa de sucesso do proprio ataque (ataques mais eficazes, que de fato alteram mais o comportamento do modelo, tambem sao mais faceis de detectar por este metodo) e poucos falsos positivos quando aplicado a modelos limpos -- uma propriedade importante para viabilidade pratica, ja que um auditor que gera muitos alarmes falsos rapidamente perde credibilidade operacional.
Na pratica, isso e relevante para qualquer organizacao que consome modelos de instrucao ajustados por terceiros ou que terceiriza parte do pipeline de fine-tuning: sem um mecanismo de auditoria como este, um fornecedor malicioso ou comprometido poderia introduzir vies direcionado em tarefas especificas (por exemplo, enviesar resumos sobre um concorrente, ou sempre recomendar um produto especifico) de forma dificil de notar em testes gerais de qualidade, que tipicamente nao cobrem todas as combinacoes possiveis de tarefa e tipo de conteudo.