大型语言连续扩散模型

arXiv:2610.02665v1 发布类型：cross 摘要：尽管离散扩散语言模型（dLM）在快速并行解码方面取得了成功，但其非平滑的高维空间阻碍了推理过程的轨迹引导与推理加速。为解决这一问题，我们提出了 Sigma——首个大规模（3B/8B）连续 dLM，其构建于可引导的低维 ODE/SDE 潜在轨迹之上。Sigma 通过似然优化以分块方式进行训练，在学习最优嵌入几何结构的同时，对经高斯噪声扰动的词元嵌入进行联合去噪。为加速训练，Sigma 利用自回归（AR）模型的预训练权重进行热启动。在推理阶段，我们发现无分类器引导和分数温度对于高保真推理与代码生成至关重要。在针对最先进离散模型（掩码 dLM 和 AR 基线模型）开展的全面数学推理与代码评测中，Sigma 在预训练后于标准基准（如 GSM8K、Minerva、HumanEval、MBPP）上取得了与离散模型相当的性能，并在监督微调后于具有挑战性的推理任务（如 MATH-500、AIME）上达到了同等水平。除了性能相当之外，我们还发现了连续 dLM 所特有的关键结构性质：（i）嵌入空间中的引导能够有效控制质量与多样性之间的权衡，从而取得出色的 pass@k 性能；（ii）连续轨迹支持在低 NFE 条件下实现平滑退化，并促进高效蒸馏。这些结果表明，连续 dLM 是一种很有前景的高效语言生成范式。