面向扩散语言模型的结果路由蒸馏与强化学习

arXiv:2610.19271v1 公告类型：新论文 摘要：同策略蒸馏在学生模型自身的样本上提供密集监督，但其目标仍来自教师模型。验证器强化学习（RL）则使用结果信号，却无法直接约束验证器覆盖范围之外的能力。对于扩散语言模型（dLLMs），结合这两种方法颇具挑战，因为双向去噪使基于比率的 RL 所需的策略似然变得不可靠。我们为混合专家 dLLM 开发了一套无需似然的流程。每组采样轨迹均根据验证器结果进行路由。成败混合的轨迹组采用无比率、组内中心化的 REINFORCE。如果学生模型的所有采样轨迹均失败，而教师模型成功，则在学生模型的去噪画布上为模型提供密集的 KL 监督。其他所有轨迹组均被跳过。以蒸馏检查点为锚点的 KL 项限制了验证器奖励范围之外的变化。具备工具调用能力的教师模型仅在 18.6% 的训练提示上成功。在 24 个去噪步骤下，蒸馏模型比教师模型高出 6.77 个百分点，而路由使蒸馏检查点的表现进一步提升了 18.31 个百分点。路由使推理轨迹准确率降低了 0.71 个百分点，却使同一批题目的直接作答准确率提高了 13.21 个百分点。采用锚定项的实验分支恢复了推理轨迹准确率。其工具调用得分相差 -0.16 个百分点，置信区间包含零，不过这一比较也移除了一条小规模的回退蒸馏路径。按领域设定条件的方案保留了 16.37 个百分点的工具调用增益；第二个随机种子带来了 18.23 个百分点的增益，并复现了两项能力保持结果，但数学结果依赖于随机种子。我们预注册了所有实验分支，并在单台机器上的一次完整运行中，使用配对题目评估了每项比较。