Clock Diffusion：高效的半自回归连续扩散语言模型

arXiv:2610.00894v1 公告类型：新 摘要：近期关于离散数据连续扩散的研究表明，其性能可与相应的离散扩散模型相媲美。然而，这些连续扩散模型缺少作为语言模型实际应用所必需的关键特性，即可变长度生成和对键值缓存的支持，并且在质量方面仍落后于自回归模型和离散扩散模型的前沿水平。在本工作中，我们致力于解决这些局限。具体而言，我们引入了一种模型参数化方法，利用依赖位置的噪声调度来定义半自回归（SAR）连续扩散语言模型（DLM）。结合高效的训练和采样算法，我们将这一框架称为 Clock Diffusion，并提出了该方法的两个特例：块生成和滑动窗口生成。随后，我们定义了 ClockDLMs，这是一系列基于滑动窗口 Clock Diffusion 的高斯 DLM，在 OpenWebText 上取得了当前最先进的扩散似然界，甚至超过了性能优异的块式 SAR 离散扩散模型。在 TinyGSM 上训练的 ClockDLMs 也显著优于 GSM8K 基准上的连续模型基线，并达到或超过了相应的 SAR 离散扩散模型。最后，基于我们的参数化方法，我们提出了更高效的采样器，并将其命名为 Cache Grab。该采样器借鉴了离散扩散加速推理中的技术，例如固定概率超过置信度阈值的 token，以及采用自推测解码，从而进一步提升模型的质量和效率。