用于策略优化的函数空间时序自蒸馏

arXiv:2610.19687v1 公告类型：新论文 摘要：基于可验证奖励的强化学习（RLVR）能够提升语言模型的推理能力，但标量结果只能为响应轨迹提供粗粒度监督。自蒸馏通过比较无辅助策略与利用反馈的自教师，提供更密集的词元级指导；然而，教师会随学生一同演化，导致目标不稳定，因此需要额外的正则化。我们提出 Function-Space Policy Optimization（FSPO），这是一种将当前的特权信息适应与函数空间中的时序巩固相结合的单策略框架。FSPO 将稀疏的历史下一词元分布存储为固定的时序目标，无须持续维护教师模型即可实现时间上的分离。该框架进一步引入特权信息分歧校正，以显式抑制局部估值过高的动作；引入可靠性自适应锚定，在自生成证据反复失效时加强参考监督；并引入兼顾质量与覆盖度的时序记忆，以保留经过验证的行为并改进特权信息示范。在推理和工具使用基准测试中，FSPO 在 5 小时训练预算下取得了最高的平均准确率，比最强基线平均提高约 4 个百分点，同时在 Olmo3-7B-Instruct 上将峰值显存占用从约 70 GB 降至 56 GB。