下一个词元还是向量？学习解码多远
Next Token or Vector? Learning How Far to Decode
精选理由
介绍一种按上下文自适应预测长度的解码方法，提升生成效率并减少逐词解码开销。
AI 摘要
arXiv:2610.22788v1 发布类型：new 摘要：标准的自回归解码每次只生成一个词元，即使接下来的多个词元可以被同时预测。我们提出 CADENCE（Context-Adaptive DEcoding），一种同时学习生成什么内容以及生成多远的生成方法。高斯预测头将未来片段表示为连续潜向量，共享解码器则将选定的向量转换为并行的词元预测。一个学习得到的路由器根据模型自身的隐藏状态和预测出的高斯参数选择预测长度，并根据当前上下文调整生成粒度；当无法进行更长跨度预测时，则回退到单词元生成。骨干模型会验证每个提议的延续，并保留与其贪心预测相匹配的前缀。在 Alpaca、GSM8K 和 HumanEval 上使用 Llama-3.1-8B-Instruct 进行的实验表明，与在所有位置统一应用相应预测长度相比，由路由器选择的位置具有更高的草稿接受率。CADENCE 的生成吞吐量最高可达到标准贪心解码的 1.3 倍。