Waypoint-OPD：通过门控在策略蒸馏传递 RL 诱导的策略偏移

arXiv:2610.21601v1 公告类型：new 摘要：策略偏移蒸馏将教师模型在强化学习（RL）前后的对数概率差异，重新用作学生模型生成轨迹上的监督信号。然而，这种最终策略偏移无法揭示教师模型训练过程中局部动作偏好是否始终保持一致的演变。同一个最终策略偏移，可能由相互强化或部分抵消的早期偏移和晚期偏移共同产生。我们研究了早期与晚期教师策略偏移之间的一致性是否能够指导选择性迁移。我们提出 Waypoint-guided On-Policy Distillation（Waypoint-OPD），利用同一 RL 运行过程中的一个中间教师模型检查点，在学生模型访问的前缀处比较相对动作偏好中的早期偏移和晚期偏移。我们根据早期与晚期偏移的方向一致性对最终偏移进行门控：当二者方向相反时抑制该偏移。与仅使用最终偏移的迁移方法相比，我们的方法只需额外进行一次冻结教师模型的评分过程。我们使用经过 RL 训练的 Qwen3-4B 教师模型，并在数学推理和代码推理任务中，以 Qwen3-8B、Qwen3-14B 和 Qwen3-30B-A3B 作为学生模型评估我们的方法。在全部六个领域--学生模型设置中，Waypoint-OPD 在所比较的蒸馏方法中均取得了最高的领域平均分。使用 Qwen3-8B 学生模型进行的消融实验表明，移除或打乱门控会降低数学推理性能。这些结果支持在学生模型训练期间，利用早期与晚期教师策略偏移之间的方向一致性来对最终偏移进行加权。