一个优秀的自教师会在学生所处的位置与其相遇：联合在策略学习与教学

arXiv:2610.10447v1 公告类型：new 摘要：基于结果奖励的强化学习（RL）受到监督信号稀疏问题的困扰，尤其是在困难的长时程任务中，成功轨迹既罕见又代价高昂。在线策略蒸馏（OPD）通过沿着学生自身生成的轨迹，从更强的教师提供密集的词元级监督，因而成为一种颇具吸引力的替代方案。自蒸馏方法则更进一步：通过让同一策略以特权信息为条件来充当自己的教师，从而不再需要单独的教师模型。然而，仅凭特权条件并不能保证所得的蒸馏更新会提升学生性能。事实上，特权信息可能使教师通过学生无法获得的捷径解决任务，产生与学生当前行为匹配不佳的监督信号。因此，即使教师性能更高，也可能提供会降低学生性能的指导。为解决这一问题，我们分析了特权教师的选择如何影响学生的更新，并推导出教师的局部蒸馏更新成为学生奖励梯度正倍数的充要条件。我们的分析表明，教师不仅应在任务上表现出色，还应提供适合学生当前能力的指导。基于这一刻画，我们提出了一种实用的教师训练替代目标，将结果奖励与朝向学生策略的词元级 Kullback-Leibler（KL）正则化相结合。在此基础上，我们提出联合在策略学习与教学（JOLT）：以两种角色联合训练单个策略——使用 KL 正则化目标的特权教师，以及使用密集在策略蒸馏的非特权学生。在数学推理、编程、工具使用和终端使用任务上，JOLT 均提升了训练效率和性能；加入学生奖励后，还能获得进一步的增益。