Sufixos de prompt adversariais conseguem quebrar a aceleração de speculative decoding em LLMs
Pesquisadores demonstram o ADSD, o primeiro ataque de sufixo de prompt capaz de colapsar a taxa de aceitação do verificador em speculative decoding, técnica amplamente usada para acelerar a inferência de LLMs sem perda de qualidade. No dataset GSM8K, o ataque aumentou o tempo médio de amostragem em 62,3% mantendo a qualidade da resposta, e o efeito se mostrou consistente em diferentes domínios, estratégias de decodificação especulativa e arquiteturas de modelo.
Fonte ↗