关于 KL 正则化策略优化

arXiv:2610.08963v1 发布类型：新 摘要：面向大语言模型（LLM）智能体的异步强化学习（RL）使用另一策略生成的轨迹来训练一个策略：rollout 来自过时的检查点，并且即使参数完全相同，推理引擎的概率也可能与训练器的概率不同。标准解决方案要么裁剪重要性比率，但这会使更新产生偏差；要么像 GRPO 一样，为每个提示采样一组响应，而当回合较长时这种方法代价高昂。我们提出 KL 正则化策略优化（KLPO），这是一种将 KL 正则项锚定在采样器上的框架。经过正则化的改进步骤随后具有闭式 Gibbs 解，而 KLPO 则在采样器自身的轨迹上通过最小二乘拟合其对数比率最优性条件，因此采样器概率以对数比率的形式参与计算，无需重要性权重。消去回归截距后，可用信号的采样器均值加上采样器到训练器的 KL 散度，替代难以求解的对数配分函数。针对 token 级策略镜像下降目标，我们证明所得梯度无需评论家即可根据终止回报计算，即使工具输出具有随机性，也可以通过以采样器为中心的得分或单个轨迹残差实现。我们进一步证明，对 KL 项进行独立的 Monte Carlo 估计仍能使这些梯度保持无偏，推导出成本更低的 top-$K$ 和二元近似的精确 KL 差距，并表明 SPPO、GPO、REBEL 和 BPO 都是 KLPO 的特例。最终得到的更新无需评论家，每个提示只需一次 rollout，且既不需要学习得到的归一化器，也不需要一组响应。