强化学生已学知识：教师引导的同策略蒸馏

arXiv:2611.07722v1 公告类型：新提交 摘要：同策略蒸馏（OPD）通过对学生生成的回答提供密集的教师反馈，提升语言模型的推理能力。我们首先观察到，这种反馈存在幅度差异：在数学推理回答中，风格相关位置的教师与学生对数概率差的平均绝对值，是数学相关位置的 3.5 倍。因此，依据这些差异缩放 OPD 更新，会将大部分更新强度用于匹配教师的表达方式。我们转而以学生自身的预训练基础模型作为参照：学生与基础模型之间的差异记录了后训练过程中习得的词元偏好，并提供不依赖于学生与教师之间距离的监督。基于这一参照，我们提出 Student-Delta On-Policy Distillation（SD-OPD）：该方法使用中心化后的学生与基础模型差异作为更新系数，仅在系数符号与中心化后的教师与学生反馈符号一致时保留该系数，并在每轮训练中重新计算学生信号。在采用参数规模为 1.7B 至 8B 的 Qwen3 学生模型的 5 种教师—学生配置中，SD-OPD 在六项数学任务上的平均 pass@1（avg@16）比 OPD 提高了 7.76 至 10.37 个百分点。代码已发布于 https://github.com/aim-uofa/sd-opd。