GR-OPD：Group-Relative Sequence Credit for On-Policy Distillation

arXiv:2610.23042v1 公告类型：新 摘要：On-policy distillation（OPD）提供 token 级教师反馈，但常见的采样 token 更新仅在局部进行信用分配，忽略了更早动作对后续反馈的影响。我们提出 \method{}（Group-Relative On-Policy Distillation），通过将 token 级反馈聚合为经过校准的序列级信用，将反馈计算与信用分配解耦。我们为这一方法建立了理论基础：在理想的 on-policy 假设下，将原始的累加反馈广播至每个响应 token，可对序列级 reverse-KL 目标的负梯度产生无偏估计。为支持实践中的有效学习，\method{} 会降低后续反馈的权重，因为在分布偏移下这些反馈可能变得不那么可靠，并使用相同提示词的 rollout 组来校准教师指导。该方法保留响应之间的相对偏好，同时保留组均值中受控比例的部分，我们将其称为集体教师压力。在五种 Qwen3 教师--学生设置和六个数学推理基准上，\method{} 在每种设置中都以 macro Avg@K 超越 vanilla OPD；在其中两种思维模式匹配的设置中，提升幅度分别达到 10.9 和 11.5 个百分点。在思维模式不匹配时，vanilla OPD 会崩溃，而该方法仍能保持稳定训练。消融实验表明，保留适量的集体教师压力可以改善学习效果，而过大的集体教师压力或不受限制的反馈范围则可能导致训练不稳定。