层次化表示去噪：用于语言建模的联合连续扩散

arXiv:2610.08738v1 公告类型：交叉发布 摘要：扩散语言模型（DLMs）有望实现与顺序无关的并行文本生成。近年来，得益于精心设计的词元表示和扩散/流空间，连续扩散模型与流匹配模型取得了显著进展。在本研究中，我们提出 Hierarchical Continuous Diffusion Language Models（H-CDLMs），这是一个简单的框架，仅需极少的额外计算和参数开销，即可进一步提升连续 DLMs 的性能。借鉴离散 DLM 和连续图像扩散领域关于联合扩散的研究，我们对多种模态并行进行扩散。这些模态以不同的语义粒度表示词元：在我们的具体实现中，它们分别是词元本身，以及通过对预训练词元嵌入进行聚类得到的更粗粒度的簇。我们提出了一种通用设置，允许为各模态分别配置采样器和调度方案，以增强模态间的相互作用。将该设置应用于 CoBit 后得到的 H-CoBit，在各项基准测试中均取得了显著的实证性能提升。在达到数据集熵的条件下，H-CoBit 提高了 MAUVE，并在 LM1B 和 OWT 上分别达到 49.4 和 50.4 的生成困惑度（GenPPL），较基线分别降低 24.2 和 20.7 点，甚至超越了规模相当的离散 DLMs。在 GSM8K 上，其准确率达到 27.4%，优于此前的连续扩散模型和基于流的模型。我们还将 H-CDLM 应用于流匹配模型 FLM，所得的 H-FLM 同样取得了稳定的性能提升，证明该框架能够泛化至不同的连续生成范式。我们的代码将在 https://github.com/matol-16/HCDLM.git 公开。