重新思考扩散与解码的作用：用于并行语言生成的 Predictive-State Flows

arXiv:2610.12898v1 公告类型：交叉发布 摘要：在连续扩散语言模型（DLMs）中，扩散先验生成的潜变量通过解码器或词元嵌入矩阵，以近乎确定性的方式映射为词元。与视觉细节可以连续变化的图像生成不同，扩散先验必须在连续空间中捕捉细粒度的离散词元选择，这可能使潜变量的联合分布难以建模。我们认为，生成任务的职责应当重新划分：扩散先验应生成高层次的预测信息，而解码器则负责解决剩余的词元级选择。基于这一观点，我们提出 Predictive-State Flows（PSF），将序列划分为多个块，并为每个块关联一个仅根据前文上下文计算的预测状态。整流流先验生成预测状态序列，随后由块因果解码器并行生成所有块，仅在各块内部进行自回归生成。这一设计将扩散处理的状态从 L 个词元级状态减少为 K << L 个预测状态，并将词元级的顺序计算深度降至 L/K。在 OpenWebText 无条件生成任务中，一个拥有 1.97 亿参数、K=8 的模型，每生成一篇含 1024 个词元的文档仅需 0.31 TFLOPs，在熵为 5.16 时实现了 22.8 的生成困惑度；相比之下，采用 32 个采样步的 ELF-B 的生成困惑度为 24.0，计算量为 7.2 TFLOPs。在对应的实测运行配置下，两者的 MAUVE@512 分别为 0.93 和 0.73。受控比较进一步表明，额外编码了自身块信息的内容状态，其生成困惑度比预测状态高 8–16%；而将采样得到的预测状态轨迹替换为共享均值，会使 MAUVE@512 降低 0.11。这些结果表明，连续 DLMs 的潜变量设计不仅应考虑文本表示的紧凑程度，还应考虑先验与解码器之间的生成职责划分。