CoRD：耦合轨迹填补同策略蒸馏的盲点

arXiv:2611.07959v1 公告类型：新论文 摘要：同策略蒸馏使用学生自身生成的轨迹来训练学生，因此，教师会到达而学生不会到达的状态很少得到监督。我们提出 CoRD（耦合轨迹蒸馏），保留同策略损失，仅将训练状态的分布向教师偏移，并通过推测解码中的最大耦合，从学生与教师分布的几何插值中采样轨迹。在两个分布一致的部分，耦合保留学生生成的词元；否则，从目标分布中学生赋予权重不足的部分采样词元进行替换。因此，干预频率达到了精确采样器所能允许的最低水平，并随着学生的学习而降低。在来自两个模型家族（Qwen3 和 Qwen3.5、参数量从 0.6B 到 4B）的六个基础学生模型上，在训练步数和数据相同的条件下，CoRD 在五个公开数学基准上的平均 pass@1 比同策略蒸馏提高了 0.9 至 2.0 个百分点，pass@8 提高了 1.2 至 3.4 个百分点。在固定的教师可达状态上，使用 CoRD 训练的 4B 学生模型仅用 16 步就达到了同策略蒸馏在 80 步内仍无法达到的差距缩小程度；而以至少同等频率向其他方向进行干预的替换规则，其表现也不及 CoRD。