好的自我教师应因材施教：联合同策略学习与教学

基于结果奖励的强化学习（RL）面临监督信号稀疏的问题，尤其是在困难的长时程任务中，成功轨迹既罕见，生成成本又高。同策略蒸馏（OPD）提供了一种颇具吸引力的替代方案：由更强的教师沿着学生自身生成的序列提供密集的词元级监督。自蒸馏方法则进一步消除了对独立教师模型的需求，通过让同一策略以特权信息为条件，使其充当自身的教师。然而，仅以特权信息为条件，并不能保证由此产生的蒸馏更新能改善学生的表现。事实上，特权信息可能使教师通过学生无法使用的捷径解决任务，导致其提供的监督与学生当前的行为不匹配。因此，即使是表现更好的教师，也可能提供导致学生性能下降的指导。为解决这一问题，我们分析了特权教师的选择如何影响学生的更新。我们推导出一个充要条件，使教师所引导的局部蒸馏更新成为学生奖励梯度的正倍数。我们的分析表明，教师不仅应在任务上表现良好，还应提供适合学生当前能力的指导。这一刻画启发了一个实用的教师训练替代目标，将结果奖励与朝向学生策略的词元级 Kullback-Leibler（KL）正则化相结合。基于这一结果，我们提出 Joint On-Policy Learning and Teaching（JOLT），以两种角色联合训练单一策略：一是使用 KL 正则化目标的特权教师，二是采用密集同策略蒸馏的无特权学生。在数学推理、编程、工具使用和终端使用任务中，JOLT 均提高了训练效率和性能，而引入学生奖励还能带来进一步提升。