VASPO：结合特权价值估计的自蒸馏

同策略自蒸馏通过具有特权信息的自教师，为推理模型提供密集监督。然而，这种监督反映的是局部词元偏好，而非学生在无引导情况下继续生成的预期回报。近期方法将这一信号与 GRPO 相结合，利用 GRPO 确定更新方向，并利用教师缩放信号。然而，我们展示了在 PPO 框架内一种更有效的整合方式。具体而言，我们发现了随生成位置变化的互补动态：特权信息在回答接近结尾时能提高评论器的价值预测准确性，而自教师的指导作用在生成初期较强，中期减弱，最后再次增强。这些发现促使我们提出 Value-Augmented Self-Distillation Policy Optimization（VASPO），其中，自教师和评论器在学生生成的前缀处，基于相同的特权信息进行评估。评论器根据预测的后续生成回报计算词元级 PPO 优势，而自教师则通过有界概率比调节选定的正优势。在六项数学推理基准测试中，VASPO 在 Qwen3-4B 和 OLMo3-7B 变体上的平均准确率分别比 PPO 提高了 2.59 和 1.81 个百分点，并在 Knights and Knaves 上取得了所有参评方法中最高的平均准确率。我们的代码已公开于 https://github.com/cii030/VASPO。