RetireOPD：面向智能体强化学习的自退休同策略蒸馏

通过强化学习（RL）训练的多轮智能体每条轨迹只能获得一个标量奖励，这促使人们采用自同策略蒸馏（OPD），由具备特权任务技能的自教师提供密集的令牌级监督，使无技能学生能够将这些技能内化。然而，智能体任务中的两项发现削弱了这一方法的效果：特权信息本身并不总能使教师变得可靠，而且教师监督的收益取决于训练阶段。为此，我们提出 RetireOPD（自退休同策略蒸馏）：首先利用环境奖励优化一个解耦的技能条件化教师，然后将无技能学生与 RL 和 OPD 联合训练。RetireOPD 不采用预先设定的蒸馏计划，而是引入自适应退休（Adaptive Retirement）：当学生与教师之间的差异不再缩小，且学生达到教师成功率的目标比例后，学生会自行放弃教师，此后训练仅依靠 RL。在从 1.5B 到 7B 的 Qwen2.5 模型上，RetireOPD 相比 RL 基线将 ALFWorld 成功率提升了 14.1% 至 18.8%，将 WebShop 准确率提升了 11.8% 至 19.0%，并且在所有设置下都超过了其自身的技能条件化教师。