分层连续扩散语言模型

arXiv:2610.02193v1 公布类型：cross 摘要：离散扩散语言模型为自回归生成提供了一种颇具吸引力的替代方案，适用于需要双向推理和全局约束满足的任务。然而，它们存在一个结构性瓶颈：并行解码时，每个词元都独立地从其边缘分布中采样，从而切断了同时解码的词元之间的统计依赖关系。连续扩散语言模型通过对共享的连续状态进行去噪来避免这一问题，但其去噪器只能看到该状态，因此在最终解码之前，没有任何机制将其与有效的词元配置联系起来。为解决这一问题，我们提出分层连续扩散语言模型（HC-DLM）。该模型在单一且具有原则性的去噪过程中，将离散词元生成与连续潜在轨迹相耦合，其训练目标源自词元似然的变分界。不同于近期将连续上下文附加到自包含离散链上的方法，HC-DLM 将潜变量作为唯一持续存在的生成状态：每一步都从中读出词元，并将其作为下一次潜变量更新的支架反馈回去。在结构化推理（Sudoku）、数学规划（Countdown）和语言建模（LM1B）任务上，在模型规模相当的情况下，HC-DLM 均优于离散和连续扩散基线：在 Sudoku 和 Countdown 上取得更高的谜题准确率，在 LM1B 上获得更优的生成困惑度。项目主页：https://hc-dlm.github.io/。