在策略蒸馏中的增益与崩溃：强化学习视角

在策略蒸馏（OPD）已成为语言模型后训练的重要方法。然而，尽管 OPD 能带来性能增益，它也可能崩溃为生成过长且重复的文本，而导致这些不同结果的机制仍缺乏充分理解。我们从强化学习的视角解释这些结果：教师模型会隐式奖励学生模型的行为，即使其中一些行为教师模型自身很少表现出来。从这一视角出发，我们的实验表明，OPD 能够提升性能，但不会扩展学生模型的能力。当隐式奖励模型可靠时，OPD 会使正确回答更容易被采样。相反，当偏好与质量不一致时，就会发生奖励劫持：隐式奖励模型会放大学生模型过长且重复的生成结果，尽管教师模型自身很少生成此类文本。基于这一诊断，我们发现，在训练过程中屏蔽不健康的回答，以及使用 SFT 初始化，都能有效缓解崩溃问题。这些发现共同表明，OPD 会放大教师模型隐式反馈所偏好的学生行为，使关注重点从教师模型生成得有多好转向其评估学生生成结果的可靠性。我们的代码已发布于 https://github.com/HancCui/opd_hacking】【。