RollVerify：兼顾长尾轨迹生成强化学习的效率与准确性

强化学习对于提升大语言模型的推理与泛化能力至关重要。它依赖大规模轨迹生成，而随着上下文窗口的增大，轨迹长度的长尾特征日益显著。在同策略训练中，这些长尾轨迹生成任务会导致 GPU 空转，降低系统利用率并限制强化学习的可扩展性。异步方法或部分轨迹生成方法通过放宽同步要求来提高吞吐量，但不可避免地会引入过时的离策略样本（轨迹），可能损害最终准确性。现有方法主要通过在训练期间对离策略样本重新加权来缓解这一问题，但与完全同策略训练相比，仍可能存在性能差距。在本研究中，我们提出 RollVerify，这是一种基于部分轨迹生成的轻量级强化学习框架，不再于训练期间被动地对样本重新加权，而是在样本进入训练前主动对其进行验证和修复。具体而言，该框架引入离策略偏移指标 OPS，用于量化部分生成轨迹的离策略偏差。在 OPS 约束的指导下，RollVerify 同时执行序列级和词元级验证，以识别并截断轨迹中的无效后缀。这种方式能够生成高质量样本，在保持部分轨迹生成所带来的效率优势的同时，保障模型的准确性。数学推理和工具辅助数学推理实验表明，RollVerify 在降低训练成本的同时，实现了与同策略训练相当的准确性。额外的代码生成结果为其在数学以外领域的有效性提供了初步证据。