批量上下文强化 II：RLVR 需要较长的 rollout 窗口吗？

arXiv:2610.22887v1 公告类型：new 摘要：较长的 rollout 窗口使带可验证奖励的强化学习（RLVR）成本高昂，但简单地缩短窗口可能会移除正确性信号：当每个单问题 rollout 都在生成答案前被截断时，组内相对准确率优势就会消失。作为 Batched Contextual Reinforcement（BCR）的技术延续，我们研究并发奖励如何减轻对长窗口的依赖。Concurrent Constraint Reinforcement（CCR）将三个可独立验证的问题置于一次有上限的训练完成中。在截断前完成的正确答案仍可获得奖励，而共享预算则鼓励更短但有用的推理过程，无需显式的长度惩罚。我们将这一机制与条件奖励方差和更新方差分析联系起来，并研究 4B 和 8B 数学推理模型。与采用 32k 窗口的单问题 GRPO 相比，采用 8,000-token 窗口的 CCR 将每个训练步骤的 token 数量从 4B 模型的 975,464 降至 174,957，将 8B 模型的数量从 793,832 降至 165,788，分别节省 82.1% 和 79.1%。一条 8B 训练轨迹显示，准确率奖励不断提高，同时生成结果变得更短。单问题评估为推理质量得以保留提供了支持性证据。这些结果表明，在训练结构中保留奖励，是降低短窗口 RLVR 每步成本的一条切实可行的路径。