Li$^{2}$SAO：通过组相对 Actor-Critic 自举提升轻量级单轨迹异步强化学习优化
Li$^{2}$SAO: Lifting Light Singl-Rollout Asynchronous RL Optimization via Group-Relative Actor-Critic Bootstrapping
精选理由
提出轻量异步强化学习方法，以组相对引导冷启动价值模型，在推理与智能体任务中提升训练效率和性能上限。
AI 摘要
arXiv:2610.40726v1 公告类型：交叉收录 摘要：异步强化学习（RL）正成为大语言模型（LLMs）后训练的主流范式，因为它能够在生成轨迹到达时更新模型，从而提高训练效率。近期研究指出，GRPO 中的分组采样并不天然适合异步 RL 训练，因为生成轨迹的长度服从长尾分布，并提出了单轨迹异步优化（SAO），以改善训练稳定性和离策略表现，尤其是在智能体任务上。然而，SAO 依赖于通过大规模价值预训练获得的闭源价值模型。本文在单轮推理和多轮智能体任务上分析了 GRPO 和 LiSAO，后者是我们在不使用预训练价值模型的情况下对 SAO 的轻量级复现。我们发现，GRPO 在推理任务上的表现优于 LiSAO，而在智能体任务上则相反。由于 LiSAO 的价值模型尚未得到充分训练，LiSAO 在训练初期明显落后于 GRPO。为解决这一问题，我们提出了 Li$^{2}$SAO，通过组相对 Actor-Critic 自举来提升轻量级单轨迹异步优化：在评价器尚未充分训练时，使用组相对优势训练行动器，并使用组中心化回报训练评价器，随后切换到单轨迹 GAE 训练。实验表明，Li$^{2}$SAO 在训练初期即可追平或超越 GRPO，并进一步提高后期的性能上限。代码见 https://github.com/jd-cc-coder/Li2SAO。