异步 LLM 后训练：组质量上限与收敛性分析

arXiv:2610.01896v1 公告类型：新 摘要：异步强化学习（RL）提高了大语言模型后训练的效率，但也引入了由早期策略生成的陈旧 rollout。关于这种陈旧性如何影响收敛，以及如何减轻其影响，目前的理论理解仍然有限。我们为 GRPO 风格算法推导了一个收敛界，明确刻画了梯度估计器二阶矩与偏差之间的权衡。对于轨迹级重要性加权估计器，我们的分析表明，一旦二阶矩得到一致控制，延迟便会通过裁剪或重缩放所引入的偏差进入该界。基于这一洞见，我们提出了一种新颖的组质量上限 GRPO（GMC-GRPO）方法，该方法在一类具有共同二阶矩保证的加权估计器中，最小化基于比率的偏差界。我们为异步 GMC-GRPO 建立了收敛保证，并表明，与 TIC-GRPO 相比，当 $\epsilon\to0$ 时，它将四阶延迟项对阈值的依赖从 $O(\epsilon^{-4})$ 改善为 $O(\epsilon^{-2})$，其中 $1+\epsilon$ 为比率阈值。在局部策略重叠条件下，调整步长后，延迟相关项会随 $G^{-2/5}$ 减小，其中 $G$ 为组大小。对于固定的行为策略和当前策略，组重缩放引入的偏差也会随着 $G\to\infty$ 而消失，而逐轨迹裁剪产生的偏差则可能持续存在。在 Qwen3 模型和推理基准上的实验表明，该方法对陈旧 rollout 具有更强的鲁棒性；在 rollout 延迟较大的情况下，GMC-GRPO 在稳定基线方法中取得了最佳性能。