论用于强化学习后能力整合的同策略蒸馏的泛化局限

arXiv:2611.05609v1 公告类型：新提交 摘要：多教师同策略蒸馏（MOPD）将同策略蒸馏（OPD）扩展至整合多个教师的能力。尽管已有研究报告了近乎完美的分布内（IND）蒸馏性能，但我们发现，这可能掩盖了监督数据分布之外的能力整合不充分问题。一项关于合成推理任务的初步研究表明，OPD 无法完全迁移教师的泛化能力。随后，我们将研究扩展至现实世界任务，使用 Qwen3 模型，围绕数学推理、编程、智能体和长上下文能力，评估外推泛化与组合泛化。在各类外推设置下，OPD 和 MOPD 的 IND 得分达到其教师得分的 96.04–102.73%。然而，它们的分布外（OOD）得分仍比基础模型低 2.45–16.25%。在三种组合设置下，MOPD 的 IND 性能优于基础模型，但在作为 OOD 评估的组合任务上，其性能仍比最佳教师低 18.19–24.34%。为理解这些差距，我们考察了教师能力和数据覆盖范围这两个潜在瓶颈。在我们的实验中，同时缓解这两个瓶颈消除了 OOD 遗忘，并展现出超越教师泛化能力的潜力。与相应的强化学习（RL）基线相比，(M)OPD 平均而言也减少了 OOD 遗忘。对相关更新几何特性的分析表明，相比 RL 基线，其更新平均幅度更小、频谱更集中，而且 MOPD 下的更新具有更多共享结构。受这些发现启发，我们提出了基于几何特性的修补方法和保留基础模型能力的回放方法，以在大体维持 IND 性能的同时提升 OOD 性能。我们的研究揭示了通过 (M)OPD 进行能力整合的一个盲点，强调有必要开发明确支持 OOD 能力保留与泛化的算法。