论大语言模型强化学习中训练—推理不匹配的起源与演化

arXiv:2610.40945v1 公告类型：新论文 摘要：大语言模型的同策略强化学习假设训练响应采样自当前策略。在实践中，推理引擎负责采样响应，独立的训练器负责计算梯度，而两者之间的\textbf{训练—推理不匹配}使训练数据变成离策略数据。这种不匹配有两个来源：引擎的数值计算，以及异步采样中的陈旧权重；针对其中一个来源能够稳定训练的校正方法，在另一个来源下可能失效。\textit{我们探究的是：不匹配来源的哪种性质决定了它所需的校正方法。}使用采样器的权重对训练器进行评估，可以将每个采样词元的误差精确分解为引擎的\textit{数值差异}与训练器的\textit{策略滞后}，我们跟踪了二者在整个训练过程中的变化。数值差异保持近似恒定，因此会给更新引入近乎固定的偏差，而在每个前缀处对得分进行中心化可以消除其主导偏差。策略滞后由训练器自身的更新产生：它留下的偏差会进入下一次更新，进而扩大下一次滞后，形成闭合的反馈回路。重要性加权只有在滞后比率保持集中时才能切断这一回路；在 Qwen3-1.7B 上，当该比率的有效样本量降至二分之一以下时，重要性加权便在该步骤失效。基于这一解释，我们推导出\textbf{差异—滞后校正}（DLC）：对数值差异进行中心化，以采样器的权重为基准裁剪滞后比率，并在该有效样本量降至二分之一以下时重新同步采样器。在采样器权重陈旧的情况下，DLC 在 Qwen3-0.6B 和 Qwen3-1.7B 上将相对于同策略训练的 KL 散度控制在两次独立同策略训练之间 KL 散度的两倍以内；其重新同步机制还能防止逐词元校正未能避免、且在采样器前缀上测得的 KL 散度无法检测到的崩溃。