On the SPOT：通过提交顺序预测增强扩散语言模型的推测解码

arXiv:2610.22543v1 公告类型：新增 摘要：扩散语言模型（DLMs）有望实现并行文本生成，但在实际应用中仍面临尚未解决的速度—质量权衡。精确解码每次模型运行只能填充一个掩码位置，而更快的多词元解码方案则会产生有损结果。推测解码是自回归模型的标准无损加速方法。然而，它无法直接迁移到 DLMs，因为 DLMs 必须同时决定生成什么内容以及生成位置。我们发现，顺序正是缺失的关键环节：模型在前一次运行中的预测已经能在 92%–100% 的位置给出正确词元，但无法确定下一个应处理哪个位置。基于这一观察，我们提出 Speculating Positions Order Trajectory（SPOT），用于学习预测这一顺序。一个拥有 0.62M 参数的模型只读取目标模型的输出分布，并提出一个候选延续树；目标模型则通过检查每个候选是否等于其自身的下一状态，在单次运行中验证所有候选。在验证方面，我们的分析表明，先前针对块扩散的验证方法要么假设 $T=0$，要么依赖顺序式提议接口。为了支持任意温度下的树式推测，我们提出对扩散块采用耦合噪声匹配验证，遵循共享 Gumbel 噪声耦合方法。全面实验表明，SPOT 最多可将目标模型运行次数减少 6.8 倍，并将吞吐量提升至标准解码的 3.2 倍；在 $T=0$ 和 $T=1$ 下的所有任务与预算设置中，它都优于经过校准的起草基线和免训练起草基线。此外，我们还表明，学习得到的起草器能够跨模型迁移，并成功迁移至六个不同的 DLMs。项目主页：https://eliezer318.github.io/SPOT-dLLM/