Speedbumps: ataque adversarial encarece e torna mais lenta a decodificacao especulativa em LLMs
A decodificacao especulativa acelera a inferencia de LLMs usando um modelo rascunho para propor tokens que o modelo principal verifica em lote, mas essa eficiencia depende de rascunho e alvo concordarem na maior parte do tempo. Os ataques Speedbump inserem um sufixo adversarial em conteudo controlado pelo atacante para maximizar o desacordo entre os dois modelos, chegando a tornar a decodificacao especulativa mais lenta que a decodificacao convencional e inflando os custos de inferencia da vitima.
Fonte ↗