利用自回归后训练权重增强扩散语言模型

arXiv:2610.08108v1 公告类型：新 摘要：扩散语言模型（dLLMs）已成为自回归（AR）语言模型的一种有前景的替代方案，能够提供灵活的 token 更新顺序和并行解码。近期的 dLLMs 通常在进行扩散转换之前从预训练 AR 模型初始化，以继承其已学习的表征。然而，在转换完成后，它们通常会忽略其 AR 祖先模型所拥有的丰富后训练生态。在本工作中，我们表明，这些现有的 AR 后训练权重更新可以被有效复用，以增强扩散模型。尽管 AR 到扩散的转换会带来变化，但将 AR 后训练权重更新直接添加到扩散基础模型上仍然有效，其性能接近直接进行扩散后训练所达到的水平。值得注意的是，AR 后训练更新与扩散后训练更新在权重空间中几乎正交，但会在扩散模型中引发高度一致的表征变化。二者不同的更新还具有互补性：组合它们的权重可以同时保留两种范式带来的收益，并进一步提升经过后训练的扩散模型。基于这些发现，我们提出 A2D，这是一种利用现有 AR 后训练资源增强扩散模型的简单免训练框架。A2D 可以将能力从经过 AR 后训练的模型迁移到扩散基础模型中，还可以通过组合 AR 与扩散后训练更新，进一步改进已经过后训练的扩散模型。在包括 Dream、DreamReasoner、DiffuCoder、Dream-Coder、Nemotron-Labs-Diffusion 和 DiffusionGemma 在内的多种 dLLMs 上，A2D 均能稳定提升指令遵循、数学推理和代码生成能力；无论采用监督微调还是强化学习更新，都无需额外训练或推理时计算。