tema

#adversarial-attack

4 publicações marcadas com esta tag.

panoramaOS-2026-631 · 2026-10-08

Pesquisadores demonstram que imagens adversariais podem implantar backdoors que sobrevivem mesmo apos removidas do contexto, persistindo no cache KV

Um novo ataque, chamado Persistent Visual Memory Injection (P-VMI), otimiza imagens adversariais inseridas no contexto de um modelo de visao-linguagem para que o comportamento malicioso que elas implantam continue ativo mesmo depois que a imagem e removida da conversa e mascarada da atencao do modelo. No Qwen3-VL-8B-Instruct, o ataque atingiu cerca de 90% de sucesso em sua configuracao mais forte, e os autores mostram que a influencia adversarial fica localizada no cache de chave/valor (KV) e pode sobreviver inclusive a compactacao de contexto feita por resumos gerados pelo proprio modelo.

#artigo-cientifico #adversarial-attack #vlm #backdoor #kv-cache #prompt-injection

Fonte ↗

risco médioOS-2026-529 · 2026-09-28

Estudo estabelece limite estatístico para detectar a origem de uma imagem via pixels sob ataque adversarial

Pesquisadores derivam o limite teórico exato de quão bem qualquer verificador baseado apenas em pixels pode distinguir se uma imagem é real ou gerada por IA quando um adversário pode editá-la antes da verificação, e mostram que verificadores públicos de CLIP falham bem antes de atingir esse limite. O trabalho também demonstra um ataque surrogate de caixa preta que explora a possibilidade de emular o verificador alvo para escalar rapidamente a taxa de aceitação de imagens falsas.

#artigo-cientifico #deepfake-detection #adversarial-attack #provenance #clip #content-authenticity

Fonte ↗

risco médioOS-2026-533 · 2026-09-28

JevAdvBench expõe que modelos de decisão automatizada podem ser manipulados por uma única opinião não verificada no estado de entrada

Modelos treinados com reinforcement learning para decisões calibradas (RLCD) retornam probabilidades ou escolhas que sistemas automatizados executam sem revisão humana, mas sua robustez nunca havia sido medida de forma rigorosa porque eles sempre produzem uma resposta bem-formada, mesmo sob manipulação. O JevAdvBench, com 812 perguntas e quase 10 mil variantes de ataque, mostra que no modelo jev-1.13.0 uma única opinião não verificada anexada ao estado de entrada flipa 12,1% das decisões -- estatisticamente empatado com o comando malicioso mais eficaz testado.

#artigo-cientifico #adversarial-attack #reinforcement-learning #automated-decision-making #benchmark #ai-safety

Fonte ↗

risco médioOS-2026-091 · 2026-07-27

Sufixos de prompt adversariais conseguem quebrar a aceleração de speculative decoding em LLMs

Pesquisadores demonstram o ADSD, o primeiro ataque de sufixo de prompt capaz de colapsar a taxa de aceitação do verificador em speculative decoding, técnica amplamente usada para acelerar a inferência de LLMs sem perda de qualidade. No dataset GSM8K, o ataque aumentou o tempo médio de amostragem em 62,3% mantendo a qualidade da resposta, e o efeito se mostrou consistente em diferentes domínios, estratégias de decodificação especulativa e arquiteturas de modelo.

#artigo-cientifico #adversarial-attack #llm-inference #speculative-decoding #denial-of-service

Fonte ↗