OC-OPD:用于同策略蒸馏的观测协调监督
OC-OPD: Observation-coordinated Supervision for On-Policy Distillation
精选理由
提出协调师生观测与梯度的蒸馏方法,提升数学推理能力,并有效迁移至科学问答和代码生成。
AI 摘要
反向与正向 Kullback--Leibler(KL)散度在同策略蒸馏中提供互补监督:反向 KL 优化学生模型当前活跃词元的排序,正向 KL 则向教师模型支持的候选项分配概率质量。在学生模型生成的前缀处,我们将学生模型和教师模型同时视为候选项来源与评估者,构建一个包含四种观测的矩阵。对角线上的自观测用于衡量不确定性,而以来源为中心的交叉观测则还原出两个 KL 目标。我们建立了一个精确恒等式,将这两个目标的 logit 梯度在 Fisher 逆度量下的耦合等同于上述对比项之和,从而为不同的严格正概率分布给出共同的局部下降方向。观测协调同策略蒸馏(OC-OPD)利用观测设定偏好,通过闭式议价协调梯度,并依据分布差异缩放更新。在三种异构学生模型设置(非思考式生成、思考式生成和基础模型初始化)中,OC-OPD 均显著提升了数学推理能力,并有效迁移至分布外科学问答和代码生成任务。我们的代码已公开发布于:https://github.com/RuoranXu/OC-OPD。