RollVerify：在长尾 Rollout 强化学习中兼顾效率与准确性

arXiv:2610.09914v1 发布类型：new 摘要：强化学习对于提升大型语言模型的推理能力和泛化能力至关重要。它依赖大量 Rollout，而随着上下文窗口不断增大，这些 Rollout 的长度分布呈现出越来越明显的长尾特征。在在线策略训练中，这些长尾 Rollout 可能导致 GPU 空转，降低系统利用率并限制强化学习的可扩展性。异步或部分 Rollout 方法通过放宽同步要求来提高吞吐量，但不可避免地会引入陈旧的离策略样本（轨迹），从而可能损害最终准确率。现有方法主要通过在训练期间对离策略样本重新加权来缓解这一问题，但与完全在线策略训练相比，仍可能存在性能差距。在本文中，我们不再被动地在训练期间对样本重新加权，而是提出 RollVerify，这是一种构建于部分 Rollout 之上的轻量级强化学习框架，能够在样本进入训练前主动验证并修复样本。具体而言，该框架引入离策略偏移度量 OPS，用于量化部分生成轨迹的离策略偏差。在 OPS 约束的指导下，RollVerify 同时执行序列级和词元级验证，以识别并截断轨迹中无效的后缀。这样既能生成保护模型准确率的高质量样本，又能保留部分 Rollout 带来的效率优势。在数学推理和工具辅助数学推理任务上的实验表明，RollVerify 在降低训练成本的同时，能够达到与在线策略训练相当的准确率。额外的代码生成结果也为其在数学领域之外的有效性提供了初步证据。