$D^2$-OPD：分离外推式同策略蒸馏中的方向与距离

arXiv:2611.07241v1 公告类型：新提交 摘要：同策略蒸馏（OPD）训练学生模型，使其在学生生成的前缀上匹配教师模型的下一词元分布。外推式 OPD 进一步放大教师模型相对于参考策略的对数概率偏移，以构建更强的学习目标。然而，现有方法将外推方向与距离耦合，使教师模型的偏移幅度决定目标移动的距离。我们提出 $D^2$-OPD，将这两个因素解耦：针对每个前缀的硬性 KL 约束限制目标与教师模型之间的距离，而教师模型的后训练偏移与初始学生—教师差距的自适应组合则决定外推方向。我们使用前向 KL 优化学生模型，使其逼近该目标，即使对于低概率词元也能提供学习信号。我们在三种设置下进行评估：标准 OPD 表现良好的设置、标准 OPD 因采用基础模型初始化而表现不佳的设置，以及没有可用的教师参考模型的设置。在数学推理基准测试中，$D^2$-OPD 在全部三种设置下均取得最高分，领先最强基线最多 9.45 分。消融实验验证了各个组件的贡献。