通过轮次级重要性采样与裁剪触发归一化稳定长时程 LLM 智能体的离策略训练

arXiv:2511.20718v3 公告类型：替换 摘要：PPO 和 GRPO 等强化学习（RL）算法被广泛用于训练大语言模型（LLM），使其执行多轮智能体任务。然而，在离策略训练流程中，这些方法可能表现出不稳定的优化动态，并容易发生性能崩溃。通过实证分析，我们确定了该场景下不稳定性的两个根本来源：（1）词元级策略优化与按轮次组织的交互之间存在粒度不匹配；（2）离策略重要性采样和不准确的优势估计导致梯度更新方差大且不可靠。为应对这些挑战，我们提出 SORL，即面向长时程智能体训练的稳定化离策略强化学习。SORL 引入了使策略优化与多轮交互结构对齐、并自适应抑制不可靠离策略更新的机制，从而产生更保守、更稳健的学习动态。在这一框架下，我们实现了两种稳定化算法：SO-PPO 和 SO-GRPO。这两种算法均旨在降低梯度方差、防止优化崩溃，而无须精心设置早停或进行启发式调参。我们在涵盖开放域问答、多跳问答和医学多项选择问答的基准上评估了 SO-PPO 和 SO-GRPO，并通过在 DAPO-Math-17k 上训练、在 AIME-2024 上验证，进一步评估了它们向数学推理异步强化学习的迁移能力。结果表明，SORL 提供了一个实用、可扩展且通用的框架，可用于稳定多轮 LLM 智能体训练以及数学推理异步强化学习中的强化学习过程。