Cross-Behavior Policy Optimization：通过共享回归目标统一学习离线示范与同策略、异策略采样轨迹

arXiv:2610.12830v1 公告类型：新提交 摘要：推理后训练利用离线示范和策略生成的采样轨迹，但传统的先监督微调（SFT）、后强化学习（RL）的方法将两者的目标分离，限制了对已收集回答的持续复用。我们提出 \textbf{Cross-Behavior Policy Optimization}（CBPO），通过基于固定参考的目标，使这些数据源能够兼容同一个回归损失。由于该目标不涉及生成策略，正向和负向离线补全、参考回答，以及当前和历史采样轨迹可以共享统一的带奖励标签的记录格式和回放缓冲区。当新回答进入缓冲区时，优化过程仍保持相同的回归目标，无需协调独立的 SFT 和 RL 目标，也不需要存储行为策略概率、进行重要性加权或学习评价器。通过限制可用数据源，可以得到离线、同策略和异策略变体，而 CBPO-Unified 则将它们结合起来。在两种模型规模和四个数学推理基准上，CBPO 在不同基准和数据设置下均取得领先的 \texttt{avg@32} 和 \texttt{pass@32} 表现。在 Qwen3-1.7B 上，相较于 SFT DAPO，CBPO-Unified 在各基准上平均的 \texttt{avg@32} 和 \texttt{pass@32} 分别提高了 2.33 和 4.44 个百分点。在回放消融实验中，相较于不保留历史轨迹的配置，保留历史采样轨迹使这两项指标分别提高了 1.87 和 3.72 个百分点。