T2SPO：面向智能体强化学习的轨迹到步骤策略优化

arXiv:2610.00388v1 公告类型：新 摘要：强化学习使大型语言模型（LLM）智能体能够通过与环境交互学习多步骤行为。然而，在许多交互式任务中，奖励只反映最终结果，难以为哪些中间决策能够推动任务进展提供指导。成功的训练轨迹包含可为后续交互提供监督的中间状态。我们提出轨迹到步骤策略优化（T2SPO），一种利用过往交互轨迹为策略学习提供步骤级反馈的方法。T2SPO 从成功轨迹中推导剩余距离目标，并将其与沿途访问状态的表示配对。在这些示例的条件下，一个预训练的 TabPFN 回归器会估计新一轮 rollout 中每个状态距离成功的剩余距离。连续状态之间该距离估计值的变化，会与任务级监督一同为智能体步骤提供辅助信用分配信号。随着训练推进，新完成的轨迹会刷新估计器的上下文，在不更新其参数的情况下纳入新的经验。在 ALFWorld 和 WebShop 上使用 1.5B 和 7B 语言模型进行的实验表明，与 GRPO 相比，T2SPO 能够持续提升整体任务成功率。