论连续扩散语言模型的设计空间

arXiv:2610.13834v1 公告类型：新论文 摘要：连续扩散语言模型（CDLMs）有望将连续流建模的优势引入语言领域，包括加速采样和可控生成。该领域发展迅速，CDLMs 的能力已开始媲美离散扩散模型。然而，与图像或视频等连续模态不同，我们对训练 CDLMs 时哪些关键因素起作用的理解仍然有限。在本研究中，我们聚焦其中两个因素，即自条件化和嵌入几何，并揭示其背后的部分机制，进而提出成本更低、效果更好的设计。我们首先表明，自条件化通过让模型接触训练中原本罕见的、类似推理时的状态，纠正了训练与推理之间的不匹配。通过一种名为 $\mathrm{DoubleCat}$ 的双层插值方案，无需额外的前向传播即可获得这些收益，使 TinyGSM 上的准确率提升至原来的三倍以上。自条件化还有助于识别被大范数高斯噪声主导的词元，这一问题被称为词元可识别性。为直接解决该问题，我们在 $\mathrm{DoubleCat}$ 中引入离散揭示机制，得到 $\mathrm{SemiCat}$。该模型在 TinyGSM 上达到与离散扩散相当的性能，使用标准训练超参数和经过调优的采样器时，准确率达到 $49.94\%$。在 $1.7$B 参数规模下，$\mathrm{SemiCat}$ 在六项基于似然的评估中的四项上优于离散扩散，并在无条件生成方面超越独热流模型。在嵌入空间中，我们发现交叉熵会推动嵌入形成一种几何结构，其解码错误率与独热表示的解码错误率非常接近。我们还简要探索了一系列其他选项，例如混合扰动过程和噪声调度，包括异步调度。我们相信，这些探索能够帮助研究社区更好地理解并拓展 CDLMs 的设计空间。