Train4Merge：面向基于 OPD 的模型合并的 RL 与 SFT 教师受控单教师研究

arXiv:2609.32303v2 公告类型：replace-cross 摘要：基于共享检查点训练的领域专家可以通过在策略蒸馏（OPD）将其专门能力迁移给单个学生模型。现有研究主要关注如何改进这一合并过程，而对用于训练专家的算法却缺乏系统比较。我们通过在 Agentic、Reasoning 和 Perception 三个领域中，对监督微调（SFT）与强化学习（RL）进行受控的单教师比较，研究哪种训练算法能够生成更适合 OPD 的教师模型。教师模型和学生模型均采用相同的 Qwen3.5-9B 初始化，并在任务性能相近的情况下比较两类教师模型。实验表明，在全部三个领域中，RL 教师都能产生更强的学生模型，并更充分地恢复教师模型的性能增益。在各自的最佳检查点上，RL 引导的学生模型分别比 SFT 引导的学生模型高出 4.27、1.50 和 0.86 个百分点。在 Agentic 领域，最佳 SFT 引导学生模型仅恢复了教师模型相对于基础模型性能增益的 44.44%，而最佳 RL 引导学生模型恢复了 115.00%，超过了其教师模型。进一步分析表明，与共享初始化相比，RL 教师的参数偏移小于 SFT 教师。上述发现支持这样一个假设：RL 教师偏离学生起点更小，有助于通过 OPD 进行学习，从而产生更强的学生模型。