以 KL 换 KL：采用控制变量基线的同策略蒸馏

arXiv:2605.07865v2 公告类型：替换 摘要：同策略蒸馏（OPD）已成为大语言模型的主流后训练范式，尤其是在推理领域。然而，由于单样本蒙特卡洛估计器的梯度方差较高，OPD 在实践中仍然不稳定，稳定训练的方法也尚不成熟。我们提出了 vOPD（采用控制变量基线的同策略蒸馏），将 OPD 表述为策略梯度强化学习，并通过引入强化学习文献中的控制变量基线——通常为价值函数——来提升其稳定性。我们证明，OPD 的价值函数具有闭式表达式：学生模型与教师模型之间逐词元的负反向 KL 散度，可直接从现有前向传播中获得，无需额外的评论家模型或推理。现有的稳定化方法要么在整个词表上计算完整的词元级反向 KL 散度，带来显著开销；要么将其限制在 top-k 支持集上，使目标产生偏差。相比之下，vOPD 保留了轻量级的单样本估计器，并将价值函数作为停止梯度传播的基线予以减去，从而在降低方差的同时保持梯度无偏。此外，我们表明，对基线采用 top-k 近似能够进一步降低成本，而不损害性能。在数学、科学和指令遵循基准测试中，vOPD 始终优于基础 OPD，并达到成本最高的全词表方法的水平，通过具有理论依据的强化学习方差缩减方法，高效地提升了 OPD 的稳定性。