olimposec.com
Radar / Notícias / OS-2026-298
risco médioPROMPT2026-08-26 · 2 min de leitura
0

NeuronGuard redistribui 'sinais de segurança' entre neurônios para blindar LLMs contra jailbreak e poda maliciosa

Resumo executivo

Nova defesa aplicada na fase de fine-tuning espalha a informação de recusa de segurança por um conjunto mais amplo de neurônios de um LLM, em vez de concentrá-la em poucos neurônios críticos, reduzindo a taxas de sucesso de jailbreaks textuais e de ataques que podam neurônios após o deploy para perto de zero, mantendo a utilidade do modelo.

O alinhamento de segurança em LLMs costuma concentrar o comportamento de recusa em um subconjunto pequeno de neurônios "críticos para segurança", o que é conveniente para o treinamento mas cria um ponto único de falha explorado por duas famílias de ataque bem diferentes: jailbreaks, que contornam esse comportamento via prompts elaborados em tempo de inferência, e ataques em nível de neurônio, que removem ou podam diretamente esses neurônios críticos depois do deploy — por exemplo através de APIs de fine-tuning ou cirurgia direta no modelo — desativando a recusa de forma permanente.

O NeuronGuard identifica periodicamente quais neurônios são críticos para segurança usando classificadores lineares por camada, e durante o fine-tuning força deliberadamente a ablação desses neurônios enquanto exige que o modelo continue recusando pedidos nocivos usando os neurônios restantes, com regularização por divergência KL para manter consistência na distribuição de saída. Uma estratégia de projeção de gradiente randomizada resolve o conflito entre esse objetivo de segurança e os objetivos normais de desempenho na tarefa, evitando que o modelo perca utilidade.

Isso importa porque ataques de poda de neurônios são uma preocupação crescente para quem distribui modelos de peso aberto ou oferece APIs de fine-tuning, já que um atacante com acesso white-box ou de fine-tuning pode, de outra forma, remover cirurgicamente o pequeno circuito de recusa. Espalhar o sinal de segurança por muitos neurônios eleva o custo desse ataque, porque não existe mais um subconjunto pequeno e removível que baste atacar — os resultados relatam taxa de sucesso de ataque próxima de zero em três modelos, seis estratégias de ataque e cenários multimodais, incluindo contra adversários adaptativos com acesso white-box.

O trabalho foi aceito no EMNLP 2026 (Findings), o que indica tração acadêmica para essa linha de defesa — uma referência útil para times avaliando alegações de provedores sobre robustez de segurança em fine-tuning-time, especialmente plataformas que oferecem fine-tuning supostamente seguro sobre modelos de terceiros.

Fonte ↗
0 comentários

Entre para comentar.

Nenhum comentário ainda — seja o primeiro.