FragToken infla o custo de inferência de LLMs treinando o modelo para preferir sequências de tokens redundantes
Ataques de exaustão de recursos contra provedores de LLM costumavam depender de gerar respostas visivelmente longas ou repetitivas, fáceis de detectar. O FragToken explora que o mesmo texto decodificado pode corresponder a múltiplas sequências de tokens de tamanhos diferentes, e treina o modelo para preferir sequências mais longas e fragmentadas sob prompts comuns, alcançando entre 1,99x e 2,46x mais passos de decodificação com degradação mínima de qualidade visível.
Fonte ↗