轨迹感知策略优化：弥合长时域 LLM 强化学习中的状态分布差距
Trajectory-Aware Policy Optimization: Closing the State Distribution Gap in Long-Horizon LLM RL
精选理由
提出TAPO校正长程推理中的状态分布偏移，提升大语言模型强化学习的稳定性与数学、编程表现。
AI 摘要
arXiv:2610.13020v1 公告类型：新论文 摘要：强化学习（RL）已成为增强 LLM 推理能力的主流范式。然而，长时域自回归轨迹采样带来了一项根本性局限：局部策略失配会沿轨迹累积，造成严重的状态分布偏移。现有 LLM RL 方法（如 GRPO 和 GSPO）在词元或序列层面控制策略失配，却忽视了这种由轨迹引起的偏移，导致训练不稳定，并随着时域延长而最终崩溃。为弥合状态分布差距，我们提出 Trajectory-Aware Policy Optimization（TAPO），这一框架具有坚实的理论基础，从离策略策略梯度出发，在理论上推导出状态分布校正项，并将其纳入 RL 目标函数。TAPO 进一步采用几何平均估计器来降低方差，同时结合长度感知的动态裁剪，防止整条轨迹上的更新偏离过大。大量实验表明，TAPO 在八项竞赛级基准测试中显著优于现有 LLM RL 算法，相比 GRPO，在数学推理和算法编程任务上分别取得最高 48% 和 12% 的提升，同时大幅增强了训练稳定性。