超越教师似然：用于长上下文推理的组校准在策略蒸馏

在策略蒸馏（OPD）使用更强教师提供的密集 token 级指导，在学生自身的响应上训练学生。然而，在长上下文任务中，token 级教师支持可能偏向于局部上看似合理、但遗漏分布在输入各处的证据或违反全局任务约束的响应。相比之下，特定任务的验证器在响应级别评估任务完成情况，并可能返回反映部分成功的分级奖励。我们在来自两个具有代表性的长上下文证据聚合任务的固定响应上诊断了这种不匹配。在更长的输入范围内，轨迹级 OPD 分数与验证器奖励的对齐程度逐渐降低，表明存在教师-验证器分歧。受这一观察启发，我们提出了 Group-Calibrated On-Policy Distillation（GC-OPD）。GC-OPD 在每个 rollout 组内分别对验证器奖励和轨迹级 OPD 分数进行归一化，并使用二者之差作为带符号的教师-验证器分歧残差。基于相对优势的信用分配（RACA）根据 token 的相对 OPD 优势，将这一轨迹级残差分配到各个 token，同时保留原始 OPD 信号。在五个长上下文基准上，使用 GC-OPD 进行后训练将官方 Qwen3-4B 和 Qwen3-8B checkpoint 的五基准平均分分别从 29.08 提升到 40.47，以及从 35.12 提升到 44.65。在相同设置下，普通 OPD 分别达到 39.31 和 43.56。受控消融实验表明，带符号残差比额外的 OPD 派生项或直接加入组归一化验证器奖励更有效，而 RACA 相比均匀 token 分配进一步带来提升。总体而言，这些结果表明，组相对残差校准可以在不丢弃密集 token 级指导的情况下纳入验证器结果。代码可在 https://github.com/SolereZhang/GC-OPD 获取。