超越令牌局部模仿：用于在策略蒸馏的奖励兼容时间信用分配

在策略蒸馏（OPD）已成为大语言模型后训练的一种有效方法，但现有目标函数在目标保真度与优化稳定性之间面临权衡。令牌级 OPD 提供了稳定但局部的监督，而序列级 OPD 能够捕获未来信用，却要付出与时域长度相关的方差代价。我们建立了一个统一的时间信用视角来理解这些形式，表明实际中的令牌级 OPD 可以被解释为序列级反向 KL 梯度的一种时间近似。在此基础上，我们提出 $γ$OPD，利用折扣时间信用分配在长时域监督与优化稳定性之间取得平衡，同时具备与时域长度无关的方差界。我们进一步为 $γ\mathrm{OPD}$ 开发了奖励兼容的有界混合（RBM）机制，在可验证的结果反馈与折扣 OPD 优势之间进行平衡，从而超越纯粹依赖教师的优化。数学推理和代码推理实验表明，在标准、规模不匹配和多教师蒸馏设置下，该方法相较于现有 OPD 方法均取得了稳定改进。