LED：通过 Lookahead Editing 改进掩码扩散语言模型

arXiv:2610.23122v1 公告类型：新 摘要：扩散大语言模型（dLLMs）已成为自回归语言模型的一种有前景的替代方案，能够通过并行解码实现非自回归文本生成。现有的 dLLMs 大致可分为两类：掩码扩散模型（MDMs）和均匀扩散模型（UDMs）。在本文中，我们从理论上证明，由于采用基于掩码的转移调度，MDMs 更易于优化，但计算表达能力较低；而 UDMs 支持迭代式状态修订，具有更强的表达能力，但训练难度显著更高。这一权衡自然引出了一个问题：能否在保留 MDMs 简单且易于优化的转移调度的同时，获得迭代式修订的表达能力？受此分析启发，我们提出了 Lookahead Editing（\ours{}），通过引入可重写的提议状态来增强掩码扩散解码。在每个解码步骤中，模型会在将词元提交到掩码序列之前，在该提议状态中执行多次前瞻更新，以迭代优化对未来内容的预测。这种设计引入了一个可重写的提议状态，利用额外计算提升表达能力，同时保留 MDMs 简单的基于掩码的转移调度。我们分别对 Qwen2.5-7B 和 Qwen3-8B 进行微调，得到 LED-\texttt{7B} 和 LED-\texttt{8B}。在八个基准测试中，LED SFT 相较于标准 MDM SFT，平均提升了 $+11.4$ 和 $+7.7$ 个点。此外，仅使用 SFT，LED-\texttt{8B} 的表现就超过了 LLaDA2.1-16B Q-mode；后者经过持续预训练、监督微调和强化学习训练。