Técnica "self-feeding" detecta backdoors em LLMs de peso aberto realimentando a própria saída do modelo
Pesquisadores propõem um teste de caixa-preta barato para checar se um LLM baixado de um repositório público esconde um backdoor: alimentar repetidamente a própria saída do modelo de volta como entrada, deixando o texto derivar até tocar nos dados usados no fine-tuning malicioso. A técnica encontrou backdoors em cinco de seis modelos testados com 92% de precisão agregada, contra apenas um acerto em 120 tentativas de um baseline que repete o mesmo prompt.
O problema que a pesquisa ataca é estrutural no ecossistema de modelos abertos: qualquer pessoa pode publicar um checkpoint fine-tunado num repositório público alegando que é seguro, e quem baixa não tem acesso aos dados de treino, aos pesos originais limpos, nem sabe qual frase específica dispara um comportamento oculto — então não há como simplesmente testar "o" gatilho, porque ele é desconhecido por definição. A resposta proposta, chamada self-feeding, evita esse problema ao não tentar adivinhar o gatilho: em vez disso, deixa o próprio modelo gerar uma cadeia de texto que se afasta progressivamente do prompt inicial e vai se aproximando estatisticamente da distribuição dos dados em que o modelo foi fine-tunado, aumentando a chance de cruzar organicamente com o gatilho malicioso.
O desenho experimental testou seis LLMs de peso aberto entre 3B e 15B parâmetros, cada um contaminado com backdoors cobrindo onze categorias de ataque diferentes, usando vinte prompts iniciais neutros (uma piada, uma conta de aritmética, uma receita de café) e cadeias de até dez passos de realimentação. O contraste com o baseline é o dado mais contundente: repetir o mesmo prompt várias vezes ativou o backdoor em apenas 1 dos 120 pares modelo-prompt testados, enquanto o self-feeding chegou a 92% de precisão agregada, ativando cinco dos seis modelos comprometidos.
Um detalhe técnico importante é a diferença entre recall por prompt individual (baixo, 19,2%) e detecção no nível do modelo (muito mais alta): cada tentativa isolada de self-feeding tem chance relativamente pequena de encontrar o gatilho, mas como o custo por tentativa é baixo, rodar várias cadeias a partir de prompts iniciais diferentes acumula em detecção quase garantida a nível de modelo — e cortar as cadeias para apenas quatro passos manteve 100% de precisão usando 60% menos consultas, o que torna a técnica viável como triagem barata antes de colocar um modelo baixado em produção.
A técnica não é infalível: um dos seis modelos nunca disparou o backdoor durante os testes, e o método produziu dois falsos positivos que o baseline de prompt repetido não produz, então não deve ser tratada como prova definitiva de ausência de backdoor, apenas como um primeiro filtro de triagem. Ainda assim, para equipes que baixam modelos de peso aberto de fontes não totalmente confiáveis — um cenário cada vez mais comum à medida que fine-tunes especializados se popularizam — ter um teste de caixa-preta que não exige dados de treino nem conhecimento do gatilho é um ganho prático real de higiene de supply chain de modelos.