ReFlow：以回放驱动的解耦式高效 RL 后训练

arXiv:2610.21640v1 发布类型：新 摘要：强化学习（RL）一直是提升大语言模型（LLM）推理能力和智能体能力的关键范式，但其效率仍是主要瓶颈。现有 RL 系统通常依赖异步执行，将轨迹生成与策略优化重叠，以提升效率。然而，这种方法存在固有限制：轻度的策略陈旧只能带来有限的训练效率提升，而激进的异步执行则可能降低模型质量，并且效率提升会逐渐递减。LLM RL 和多轮智能体工作负载的动态特性进一步增加了 RL 系统设计的难度，因为资源需求会随时间变化，使得静态资源分配和生成策略效率低下。本文提出 ReFlow，一种系统与算法协同设计的高效 LLM 后训练 RL 框架。其核心洞见是：不同于现有 RL 框架仅使用每条轨迹一次，近期轨迹的经验回放能够实现有效的样本复用，从而摊销高昂的轨迹生成成本，同时不会造成过度的策略陈旧。为充分利用这一机会，ReFlow 采用了具备三个关键设计的解耦式自适应架构：双重回放数据循环在平衡训练吞吐量与优化稳定性的同时支持高效的经验复用；弹性资源池支持动态资源部署，以适应不断变化的 RL 工作负载；自适应调度器协调生成策略和资源分配，以提高资源利用率并提升生成吞吐量。在具有代表性的单轮推理和多轮智能体 RL 任务上的实验表明，与当前最先进的同步和异步 RL 系统相比，ReFlow 将训练吞吐量最高提升至 $2.06\times$，同时保持相当或更优的模型性能。