基于负策略 Rollout 的同策略蒸馏

arXiv:2610.07874v1 公告类型：new 摘要：同策略蒸馏（OPD）作为一种后训练方法已得到广泛研究，其特点是学生模型从更强教师模型在自身 rollout 上提供的 token 级监督中学习。近期研究通过采用不同的蒸馏奖励形式和教师配置改进了 OPD，但蒸馏目标仍然集中于模仿教师。然而，当更强教师与学生之间的分布重叠有限时，这种正向引导可能提供不足的学习信号。在本文中，我们提出负策略同策略蒸馏（NP-OPD），通过引入一个表现较差、能力较弱的负策略来补充教师监督；该负策略在学生学习过程中充当负向参照。NP-OPD 不修改蒸馏奖励形式，而是在 rollout 阶段引入负策略，持续提供相较于教师更受负策略偏好的 token，使这些 token 在整个训练过程中始终接受教师监督。这样一来，NP-OPD 在保留 OPD 所采用的教师正向监督的同时，通过负策略 rollout 提供了明确的负向信号。通过大量实验，我们表明，NP-OPD 在不同模型规模、生成模式、推理领域以及不同 OPD 变体上均能提升 OPD 的效果。此外，我们的分析显示，NP-OPD 能够有效抑制负策略相较于教师更偏好的 token，并使学生偏离负策略。这些结果支持了我们通过负策略 rollout 引入负向信号的设计，并为理解 rollout 策略在 OPD 中的作用提供了新的见解。代码将在 https://github.com/naver-ai/np-opd 发布。