tema

#peso-aberto

2 publicações marcadas com esta tag.

risco médioOS-2026-594 · 2026-10-05

A fragilidade dos mecanismos de "trigger-tag" para detectar uso indevido de LLMs de peso aberto

O estudo avalia mecanismos de "trigger-tag", que inserem sinais detectáveis em modelos de peso aberto para sinalizar quando são usados para fins maliciosos, como gerar phishing, e demonstra que ataques relativamente simples os tornam completamente ineficazes. Os autores formalizam dois tipos de trigger-tag, baseados em watermark no nível de token e baseados em backdoor no nível de peso, e criam um framework de ataque unificado para testá-los. A conclusão é que, embora úteis em ambientes controlados, esses mecanismos não devem ser considerados detectores robustos contra atacantes capazes de transformar saídas ou modificar os pesos do modelo.

#llm #peso-aberto #watermarking #backdoor #deteccao-de-abuso #artigo-cientifico

Fonte ↗

panoramaOS-2026-378 · 2026-09-09

Bait-and-Recover: defesa envenena os sinais internos que ataques white-box usam para editar pesos de LLMs

Pesquisadores propoem uma defesa em nivel de pesos contra ataques de representation engineering, em que um atacante com acesso total ao modelo (peso aberto) estima a direcao interna de recusa e edita a matriz de projecao para desativar o alinhamento de seguranca em minutos, sem treinamento por gradiente. O metodo, chamado Bait-and-Recover, coloca um adaptador "isca" exatamente onde o atacante mede as ativacoes e um adaptador de "recuperacao" na camada seguinte, treinados via gradient routing para desacoplar o que o atacante observa do que o modelo de fato faz. Em quatro modelos abertos testados, a taxa minima de recusa sob esse tipo de ataque subiu de 16,25% para 71,75%, com impacto minimo na capacidade geral.

#artigo-cientifico #jailbreak #white-box #peso-aberto #alinhamento

Fonte ↗