Um novo ataque de backdoor chamado "Cancerous Backdoor Attack" abandona o modelo clássico de gatilho único seguido de ativação imediata e, em vez disso, corrompe o raciocínio do modelo em estágios progressivos ao longo de múltiplas interações, usando tokens invisíveis para marcar o avanço do ataque sem que nada apareça na solicitação visível do usuário. Os autores mostram que essa corrupção gradual passa despercebida por métricas tradicionais de acurácia de resposta, só se tornando visível depois que o dano já está consolidado.
Um estudo empírico rastreou 16.977 modelos do Hugging Face já sinalizados como vulneráveis — por falhas como serialização insegura e backdoors arquiteturais — e encontrou mais de 21 mil ocorrências desses modelos em código, espalhadas por mais de 5 mil repositórios open-source, sendo que 3.757 modelos distintos (22,1%) continuam sendo referenciados ativamente mesmo depois de sinalizados. Os autores não encontraram, nos padrões de integração analisados, nenhuma verificação de proveniência ou lógica de sanitização dos modelos antes do uso.
Usando o ataque FLIP — um backdoor que corrompe apenas rótulos de treinamento, sem tocar nas imagens — pesquisadores mostram que a eficácia de uma defesa de detecção depende mais do espaço de features em que ela é aplicada do que do método de detecção em si: a mesma verificação de vizinho mais próximo vai de AUROC 0,546 nas features do modelo já envenenado para 0,967 em features congeladas de um encoder (DINOv2) que nunca viu os rótulos manipulados. O estudo também mostra que uma pontuação de detecção melhor não implica necessariamente um modelo mais seguro após a correção.
Um novo ataque, chamado Persistent Visual Memory Injection (P-VMI), otimiza imagens adversariais inseridas no contexto de um modelo de visao-linguagem para que o comportamento malicioso que elas implantam continue ativo mesmo depois que a imagem e removida da conversa e mascarada da atencao do modelo. No Qwen3-VL-8B-Instruct, o ataque atingiu cerca de 90% de sucesso em sua configuracao mais forte, e os autores mostram que a influencia adversarial fica localizada no cache de chave/valor (KV) e pode sobreviver inclusive a compactacao de contexto feita por resumos gerados pelo proprio modelo.
Pesquisadores mostram que o BackdoorBench, referência popular para avaliar defesas contra ataques de backdoor em modelos de visão, mede o custo de remoção de forma enviesada: a queda de acurácia é calculada só sobre o modelo já envenenado, misturando o efeito da defesa com falhas de configuração do próprio ataque original, como um agendador de taxa de aprendizado que nunca é acionado em três dos dezesseis ataques do benchmark. Os autores propõem o TARE, que mede o custo real comparando a defesa contra um modelo gêmeo que nunca foi envenenado, revelando que defesas até então consideradas "sem custo" na verdade degradam modelos limpos.
O estudo avalia mecanismos de "trigger-tag", que inserem sinais detectáveis em modelos de peso aberto para sinalizar quando são usados para fins maliciosos, como gerar phishing, e demonstra que ataques relativamente simples os tornam completamente ineficazes. Os autores formalizam dois tipos de trigger-tag, baseados em watermark no nível de token e baseados em backdoor no nível de peso, e criam um framework de ataque unificado para testá-los. A conclusão é que, embora úteis em ambientes controlados, esses mecanismos não devem ser considerados detectores robustos contra atacantes capazes de transformar saídas ou modificar os pesos do modelo.
Pesquisadores propoem NEEDLE, um metodo sem treinamento para remover backdoors implantados em LLMs durante o treinamento, que estima a direcao do gatilho malicioso e um subespaco de recusa a partir de vetores de ativacao, e aplica ortogonalizacao sequencial de pesos para suprimir o backdoor preservando as representacoes ligadas a recusa de conteudo nocivo. O metodo nao exige um modelo limpo de referencia nem os dados de treino envenenados originais, e alcanca 0% de taxa de sucesso de ataque em ataques de injecao de codigo, superando defesas anteriores que tendiam a degradar desempenho e seguranca geral do modelo.
Pesquisadores propõem o TokenScanner, um método para detectar LoRAs (adaptadores de baixa dimensão) maliciosos em modelos de difusão texto-para-imagem, que se comportam normalmente até um token-gatilho escondido no prompt ativar conteúdo definido pelo atacante. A técnica varre toda a vocabulário do tokenizador medindo a resposta específica de cada token dentro do LoRA e atinge 95,96% de AUC na detecção, além de identificar o próprio token-gatilho em até 99,4% dos casos entre os cinco candidatos mais prováveis.
Pesquisadores demonstram o SilentCall, um ataque em que um publicador de modelo treina um agente de chamada de ferramentas que se comporta normalmente e passa em benchmarks de alinhamento, mas que, a partir de uma data-gatilho embutida, emite silenciosamente uma segunda chamada de ferramenta que exfiltra credenciais do usuário junto com a resposta legítima. O ataque dispara em pelo menos 99,6% das requisições sob o gatilho e nunca é mencionado na resposta visível ao usuário, mas os autores também mostram três métodos de detecção eficazes.
O pesquisador Patrick Wardle publicou uma prova de conceito mostrando que malware já instalado em um Mac pode alterar uma configuração oculta do assistente Meta Muse e redirecionar o áudio de ditação do usuário para um servidor do atacante. A partir daí, o atacante consegue ler os comandos ditados, injetar instruções extras que o Muse executa como se fossem do dono do dispositivo e roubar o token de sessão para sequestrar o assistente também em outros aparelhos vinculados à mesma conta.
Adaptadores de terceiros (como LoRA) para modelos abertos chegam como matrizes de peso opacas: hoje não há como um usuário verificar se um adaptador contém um backdoor sem confiar cegamente no publicador ou inspecionar os pesos, que são justamente o ativo que o publicador quer proteger. O ServeGuard propõe eliminar essa classe de backdoor de forma estrutural, com o publicador provando, via conhecimento zero, que o adaptador só lê a entrada através das direções que um monitor de segurança consegue enxergar.
Pesquisadores mostram que a mesma propriedade matemática de redes neurais -- a simetria de permutação entre neurônios equivalentes -- pode ser usada tanto para embutir malware nos pesos de um modelo de forma teoricamente sem perdas quanto para higienizar completamente um modelo suspeito, deslocando todos os parâmetros. O trabalho supera métodos anteriores de neutralização, que deixavam parte significativa dos pesos intocada.
O trabalho reproduz de ponta a ponta uma construção teórica de Goldwasser et al. que planta backdoors em modelos treinados com Random Fourier Features de forma indetectável mesmo por auditoria completa dos pesos, mostrando que ela é realizável com ferramentas comuns de computação científica, sem infraestrutura criptográfica especializada. Testes de indistinguibilidade não encontraram diferença estatística entre modelos limpos e comprometidos.
Pesquisadores descreveram o BadEngram, um ataque pós-treinamento que planta um backdoor persistente nos componentes de memória parametrizada com gates ("gated memory") usados por LLMs modernos para ganhar capacidade sem aumentar proporcionalmente o custo computacional. O ataque atinge 96,6% de taxa de sucesso em um modelo controlado e, mais preocupante, entre 50% e 60% de taxa de sucesso ao ser testado no subsistema de memória por camada de um modelo de produção real (Qwen3.8-Flash-Next), enquanto mantém a acurácia normal do modelo intacta.
Pesquisadores demonstraram o AGENTQ, um ataque de backdoor condicionado à quantização que permite publicar um checkpoint de LLM em ponto flutuante completo, aparentemente limpo em qualquer auditoria, mas que passa a executar ações maliciosas assim que é quantizado para formatos como NF4, FP4 ou INT8 — o caminho de implantação padrão para a maioria dos agentes de peso aberto. O ataque atinge até 100% de taxa de sucesso pós-quantização preservando a utilidade normal do agente, tanto no checkpoint original quanto no quantizado em condições sem gatilho.
Pesquisadores combinaram duas técnicas já estabelecidas de detecção de backdoor — análise de assinatura espectral e clustering de ativações — em um único score de poisoning por amostra, aplicado a modelos de imagem médica usados em apoio diagnóstico. A fusão atinge AUROC igual ou superior a 0,99 em todas as taxas de poisoning testadas no benchmark médico, mas os próprios autores mostram que o mesmo método falha de forma severa em imagens naturais (CIFAR-10) sob poisoning mais agressivo, um alerta importante sobre generalização de defesas de segurança de ML entre domínios.
Pesquisadores realizaram a primeira avaliação sistemática de ataques de backdoor contra modelos de IA neuro-simbólica (NeSy), que combinam percepção neural com raciocínio simbólico e costumam ser vistos como 'robustos por design'. Testando o framework DeepProbLog contra redes neurais convencionais em oito cenários de backdoor e quatro tarefas de raciocínio, mostram que os modelos NeSy são em média mais robustos, mas a robustez depende fortemente do rigor do processo de raciocínio imposto.
Pesquisadores demonstram um ataque "hardware-aware" que explora os bit-flips do Rowhammer em DRAM DDR4 real para injetar backdoors em redes neurais durante a inferência, atingindo cerca de 90% de taxa de sucesso mantendo mais de 83% de acurácia normal, adaptando o ataque ao padrão específico de cada chip.
Pesquisadores mostram como um cliente malicioso em um sistema federado de detecção de anomalias em vigilância pode implantar backdoors usando condições naturais da cena (pouca luz, ambientes internos, aglomerações) como gatilho, em vez de um padrão artificial, mantendo o ataque furtivo e persistente por centenas de rodadas.
Framework de reparo identifica uma "anomalia de inconsistência entre camadas" causada por gatilhos de backdoor em regiões específicas dos tokens visuais ou textuais de um MLLM, e usa esse sinal para gerar um ajuste fino adversarial que elimina o comportamento malicioso sem precisar saber qual é o gatilho.
Pesquisadores da TrendAI (Trend Micro) identificaram 14 pacotes npm disfarçados de utilitários de calendário e streak que instalam um implante malicioso multiplataforma chamado RedC2 4.0. O framework inclui o módulo "Red Agent", que usa um LLM para traduzir comandos em linguagem natural para sequências de comandos do beacon, reduzindo a barreira tecnica para operar o C2.
Pesquisadores testaram a estratégia de "envenenamento defensivo": instalar deliberadamente um backdoor conhecido num agente LLM comprometido e depois desaprendê-lo, na esperança de que o backdoor original oculto seja removido como efeito colateral. Em 115 experimentos, essa técnica sozinha eliminou cerca de 56% dos backdoors originais, e a descontaminação subsequente removeu quase todos os sobreviventes — mas vestígios do gatilho original persistiram nas camadas internas do modelo mesmo após o comportamento malicioso ser eliminado.
Pesquisadores propõem um teste de caixa-preta barato para checar se um LLM baixado de um repositório público esconde um backdoor: alimentar repetidamente a própria saída do modelo de volta como entrada, deixando o texto derivar até tocar nos dados usados no fine-tuning malicioso. A técnica encontrou backdoors em cinco de seis modelos testados com 92% de precisão agregada, contra apenas um acerto em 120 tentativas de um baseline que repete o mesmo prompt.
Pesquisadores demonstram que uma única fase de envenenamento de dados pode implantar em um modelo de visão e linguagem (VLM) um backdoor programável, no qual o atacante escolhe em tempo de inferência — sem retreinar o modelo — qual legenda-alvo, nunca vista durante o envenenamento, deve ser produzida, e sintetiza sob demanda um gatilho visual furtivo correspondente. A técnica mantém alta taxa de sucesso mesmo contra defesas clássicas de backdoor e preserva a utilidade do modelo em entradas limpas, ampliando substancialmente a superfície de risco frente aos backdoors estáticos já conhecidos na literatura.
Inspirado na metáfora de uma ordem oculta que se ativa e vira toda uma população confiável contra o sistema que protege, o artigo formaliza um modelo composicional de ameaça para agentes de LLM: um artefato ou memória compartilhada carrega uma regra destrutiva dormente, uma mensagem ou atualização posterior a ativa, e o próprio harness do agente fornece a autoridade operacional para o dano acontecer. Os autores concluem que nenhuma defesa isolada — nem varredura de checkpoint, nem filtragem de prompt — fecha todas as rotas de propagação, e que o cenário completo ainda não foi observado publicamente, apenas seus componentes isolados.
LoRAScan explora o fato de que, em adaptadores LoRA comprometidos, cerca de 5% dos pontos de inserção permanecem estáveis em entradas limpas mas disparam picos de ativação na camada de down-projection quando um gatilho de backdoor está presente. Monitorando esses pontos em tempo de inferência, sem modificar os pesos do adaptador, o método rejeita cerca de 98,5% das entradas maliciosas com baixa taxa de erro em entradas legítimas, superando defesas anteriores que diluem o sinal de backdoor ao mesclar o adaptador ao modelo base ou apenas sinalizam o adaptador inteiro como suspeito.
Pesquisadores apresentam o ARIA, um framework de red teaming automatizado que usa um LLM atacante para gerar e refinar instruções com backdoor contra plataformas de personalização de LLM que operam só por system prompt, sem alterar os pesos do modelo. O ataque atingiu 94,5% de taxa de sucesso preservando a utilidade da tarefa original, além de evadir quase totalmente mecanismos de detecção do lado da plataforma e do usuário, com taxa de falso negativo chegando a 1,0.
Pesquisadores mostram que defesas de detecção de backdoor em aprendizado contrastivo multimodal, baseadas na métrica CLIPScore, falham porque a distribuição de scores de pares benignos e envenenados se sobrepõe significativamente. O framework proposto, CASCADE, usa predição conforme em duas etapas para gerar limites de confiança estatisticamente garantidos, alcançando falso-positivo médio de 5,79% com 100% de detecção verdadeira no dataset CC3M.
Um estudo demonstra que é possível implantar backdoors em modelos de raciocínio, via fine-tuning relativamente simples, que fazem o modelo executar um comportamento malicioso escolhido pelo atacante enquanto seu chain-of-thought (CoT) visível permanece aparentemente benigno. Os autores encontram um caminho de ativação interno condicionado ao gatilho que independe do raciocínio exibido, e argumentam que monitorar CoT deveria ser reformulado como um problema de consistência entre pensamento e ação, não apenas de detecção de anomalias no texto do raciocínio.
Pesquisadores introduzem um ataque de backdoor clean-label contra redes neurais de pulso que reordena os timestamps dos eventos de amostras da classe-alvo, preservando exatamente a contagem de eventos por pixel e por polaridade — de forma que a amostra continua com o rótulo original correto e parece estatisticamente idêntica a uma amostra limpa quando agregada no tempo. O ataque atinge taxa de sucesso de 100% nas configurações mais fortes, contra modelos convolucionais e baseados em transformer, em três datasets neuromórficos diferentes. Defesas que colapsam o eixo temporal antes de inspecionar as amostras são cegas a esse ataque por construção, já que a informação maliciosa vive exclusivamente na ordem temporal dos eventos.
Um invasor instalou o assistente open source Hermes, da Nous Research, em um servidor alugado, desativou as confirmações de segurança do modo "YOLO" e o apontou para a rede do Ministério das Finanças da Tailândia. Operando de forma autônoma, o agente varreu hosts em busca de escalonamento de privilégio, vasculhou sistemas de arquivos e ajudou a implantar backdoors, em um caso raro de pós-exploração conduzida majoritariamente por um agente de IA sem intervenção humana constante.
O FedLSG e apresentado como o primeiro framework a integrar LLMs na defesa contra ataques de backdoor em Redes Neurais de Grafos Federadas (FedGNNs), traduzindo estruturas de grafo e comportamento de clientes para linguagem natural de modo que um LLM possa avaliar semanticamente se uma atualizacao e maliciosa. A motivacao e que defesas baseadas em regras fixas sao vulneraveis a gatilhos furtivos justamente por nao entenderem o significado semantico dos padroes que estao filtrando.
O DeCNIP e uma defesa contra backdoors em LLMs que vai alem de heuristicas comportamentais, identificando e podando um conjunto minimo de neuronios responsaveis por ativar o gatilho malicioso. O metodo cobre tanto backdoors inseridos por fine-tuning quanto por edicao direta de modelo, reduzindo a taxa de sucesso do ataque em mais de 95% intervindo em apenas 0,1% dos neuronios e preservando 97% do desempenho original em tarefas normais.
Pesquisadores demonstram backdoors em modelos de reconhecimento de fala ativados por sons naturais do dia a dia, em vez de ruídos artificiais facilmente filtráveis. Com apenas 5% de amostras de treino envenenadas, o ataque atinge taxa de sucesso próxima de 100% sem prejudicar o desempenho do modelo em entradas legítimas.
SpeechGuard é apresentado como o primeiro pipeline online de defesa contra backdoors em modelos de reconhecimento de fala, combinando uma versão adaptada do método STRIP para detectar amostras envenenadas com uma etapa de purificação por mascaramento tempo-frequência que neutraliza o gatilho antes da inferência. O sistema mantém boa acurácia mesmo quando o próprio áudio envenenado é apresentado, prevenindo a ativação do backdoor sem retreinar o modelo.