Pivot-SD：面向掩码扩散语言模型的高效自蒸馏

arXiv:2610.03665v1 公告类型：new 摘要：掩码扩散语言模型（dLMs）为复杂推理提供了一种有前景的并行替代方案，可替代自回归模型。然而，它们面临独特的信用分配挑战：去噪过程中少数几个承诺会显著降低其余掩码位置的不确定性，并在很大程度上塑造最终响应。大多数针对 dLMs 的后训练方案并未利用这一信号来决定训练哪些词元：它们通常在最终文本上进行训练，或将奖励分配给整个去噪步骤，而不是选择那些塑造响应的单个承诺。我们提出 Pivot-SD，这是一种高效的离线自蒸馏框架，仅对这些高影响力的承诺（枢轴）进行监督。Pivot-SD 使用信息增益指标选择枢轴，该指标衡量其余掩码位置的不确定性降低程度。对成功轨迹中的枢轴使用交叉熵进行训练；对失败轨迹中的枢轴使用有针对性的反似然训练，同时保持失败轨迹的其余部分不变。仅使用 200 个问题、每个问题进行 4 次采样，Pivot-SD 在数学和代码基准测试中均提升了 LLaDA-8B-Instruct 的表现，优于全序列 SFT 和预算匹配的扩散 RL 基线。