重新思考同策略蒸馏中的相对策略差异迁移

arXiv:2610.13205v1 公告类型：新论文 摘要：同策略蒸馏（OPD）利用更强教师提供的词元级监督，在目标策略自身生成的轨迹上训练目标策略，但通常依赖教师的能力显著强于目标策略。近期研究通过迁移专家策略与参考策略之间的相对策略差异，而非专家策略的绝对分布，放宽了这一要求。然而，哪些差异能够提供有效监督，以及哪些目标策略能从中受益，仍不清楚。我们提出了一种统一视角：代理专家与代理参考策略之间的对数概率比，为 KL 正则化策略优化定义了隐式奖励。这一表述导出了目标策略的同策略更新，将传统 OPD 纳入其中作为特例，并支持在规模、训练阶段或代际不同的模型之间进行任意到任意的迁移。我们的系统性实验得出了三项发现。首先，更强的专家未必是更好的监督来源：由特定任务训练（包括强化学习和监督微调）产生的差异能够稳定迁移，而仅由模型规模产生的差异则迁移效果微弱，甚至完全无法迁移。其次，专家与参考策略发挥互补作用：专家提供待迁移的能力，而参考策略过滤掉共有行为，分离出相关的残余差异。第三，即使是有用的差异，也无法迁移至所有目标策略：成功迁移要求所诱导的更新使目标策略向专家靠近，并能泛化到采样轨迹之外。原始策略距离无法预测可迁移性，而恰当的参考策略能够挽救原本失败的迁移。这些结果刻画了相对策略差异何时能够为 OPD 提供有效监督。