olimposec.com
tema

#envenenamento-de-modelo

7 publicações marcadas com esta tag.

risco médioOS-2026-570 · 2026-10-02
0

NEEDLE remove backdoors de LLMs ajustando pesos sem precisar de modelo limpo de referencia

Pesquisadores propoem NEEDLE, um metodo sem treinamento para remover backdoors implantados em LLMs durante o treinamento, que estima a direcao do gatilho malicioso e um subespaco de recusa a partir de vetores de ativacao, e aplica ortogonalizacao sequencial de pesos para suprimir o backdoor preservando as representacoes ligadas a recusa de conteudo nocivo. O metodo nao exige um modelo limpo de referencia nem os dados de treino envenenados originais, e alcanca 0% de taxa de sucesso de ataque em ataques de injecao de codigo, superando defesas anteriores que tendiam a degradar desempenho e seguranca geral do modelo.

Fonte ↗
panoramaOS-2026-560 · 2026-09-30
0

DecoyTrace usa iscas para detectar e isolar participantes maliciosos em aprendizado federado sem servidor central

Em aprendizado federado descentralizado, a ausência de um agregador central elimina o ponto natural de observação que defesas tradicionais usam para detectar atualizações de modelo envenenadas. O DecoyTrace propõe um nó móvel que distribui desafios-isca gerados por mapas caóticos entre vizinhos da rede P2P, permitindo identificar, isolar e recuperar de participantes maliciosos, restaurando a maior parte da utilidade do modelo em sessenta configurações de teste.

Fonte ↗
risco médioOS-2026-502 · 2026-09-24
0

Fed-ADR usa um orquestrador malicioso para coordenar clientes adversarios e derrubar defesas de aprendizado federado

Pesquisadores propuseram o Fed-ADR, um ataque contra aprendizado federado em que um servidor orquestrador malicioso coordena em tempo real um grupo heterogeneo de clientes adversarios -- alguns com alvo especifico, outros nao -- fazendo-os adaptar estrategicamente seus gradientes para escapar de defesas que assumem adversarios estaticos ou agindo isoladamente. O ataque reduz a acuracia do modelo global de mais de 90% para menos de 10%, contornando varias defesas consideradas estado da arte. Os mesmos autores propoem uma defesa que estima o gradiente real de cada cliente a partir do historico de atualizacoes, detectando coordenacao maliciosa sem overhead adicional relevante, e um mecanismo de recuperacao que restaura acuracia acima de 90% em poucas rodadas sem reiniciar o treinamento, com pelo menos 20 vezes menos custo computacional que retreinar do zero.

Fonte ↗
risco médioOS-2026-421 · 2026-09-15
0

BadEngram: backdoor plantado nos módulos de memória de LLMs sobrevive sem alterar o restante do modelo

Pesquisadores descreveram o BadEngram, um ataque pós-treinamento que planta um backdoor persistente nos componentes de memória parametrizada com gates ("gated memory") usados por LLMs modernos para ganhar capacidade sem aumentar proporcionalmente o custo computacional. O ataque atinge 96,6% de taxa de sucesso em um modelo controlado e, mais preocupante, entre 50% e 60% de taxa de sucesso ao ser testado no subsistema de memória por camada de um modelo de produção real (Qwen3.8-Flash-Next), enquanto mantém a acurácia normal do modelo intacta.

Fonte ↗
risco altoOS-2026-291 · 2026-08-25
0

Falha no NVIDIA NemoClaw permite envenenar modelo de IA local via página web maliciosa

Pesquisadores da Oasis Security encontraram uma configuração insegura em que o NemoClaw expõe a instância local do Ollama sem autenticação, permitindo que uma página web maliciosa use DNS rebinding para reescrever o modelo e plantar instruções ocultas que persistem em todas as conversas futuras do agente. Correções já saíram para macOS e Linux; Windows/WSL segue apenas com avisos.

Fonte ↗
risco altoOS-2026-213 · 2026-08-12
0

Load Hijack: envenenar só os pesos do roteador de um modelo Mixture-of-Experts basta para sequestrar o escalonamento de GPUs na inferência

Pesquisadores demonstram o Load Hijack, um ataque de cadeia de suprimentos em que um provedor malicioso de checkpoints modifica apenas os pesos do roteador de um modelo Mixture-of-Experts, mantendo um gatilho privado que, quando presente na entrada, concentra o roteamento de tokens em experts hospedados numa única GPU — transformando esse dispositivo num gargalo que atrasa todos os pares em paralelismo de especialistas, sem alterar visivelmente o comportamento do modelo em entradas normais. O ataque atinge de 92,3% a 95,6% de concentração de tokens nos experts alvo e, em serviço real, aumenta o tempo até o primeiro token em 43% enquanto derruba o throughput.

Fonte ↗
risco médioOS-2026-180 · 2026-08-10
0

Fairis propõe defesa contra 'fairness poisoning' em aprendizado federado usado por instituições financeiras

Pesquisadores mostram que esquemas de agregação sensíveis a fairness em aprendizado colaborativo, como o FairFed, podem ser manipulados por um cliente malicioso que maximiza a disparidade de grupo enquanto preserva a acurácia geral, escapando de defesas Bizantinas tradicionais baseadas apenas em acurácia. O artigo propõe Fairis, um esquema de reponderação no servidor que penaliza clientes com maior disparidade de forma comprovadamente monotônica, reduzindo entre 41% e 54% o peso de um adversário furtivo frente a um controle que ignora esse sinal.

Fonte ↗