上下文信用策略优化

arXiv:2610.19103v1 公告类型：新论文 摘要：基于群组的强化学习使大语言模型智能体能够在长时程任务中从稀疏的结果奖励中学习。近期方法通过比较不同轨迹中观测匹配的经历，推导步骤级信用。然而，相同的观测可能出现在不同上下文中，且对于给定决策，匹配的参照经历所提供的信息并不同样有用。此外，良好的终局结果可能掩盖成功轨迹中的冗余动作或绕路行为。为应对这两项挑战，我们提出 Contextual Credit Policy Optimization（CCPO）。针对第一项挑战，CCPO 根据上下文相似度，对来自其他轨迹且观测匹配的参照经历进行加权。上下文相似度由冻结的 LLM 表征和累积的轨迹统计信息计算得出，使来自相似上下文的参照经历对某一步骤的基线贡献更大。针对第二项挑战，CCPO 将历史信用与未来信用相结合：历史信用将实际获得的回报与加权参照基线进行比较，未来信用则衡量一小段实际后续轨迹中上下文结果价值的变化。因此，一个步骤的信用取决于它带来的进展，而不仅仅取决于其所在轨迹的最终结果。这两种信用均基于已收集用于训练的轨迹进行事后计算，使 CCPO 无需辅助价值评估器即可应对上述挑战。在两个 Qwen2.5-Instruct 骨干模型（1.5B 和 7B）上，CCPO 在 ALFWorld 和 WebShop 上的成功率分别最高达到 97.4% 和 79.4%，相较 GRPO 分别最多提高 21.6 和 18.5 个百分点。消融实验表明，上下文加权优于均匀加权，且历史信用与未来信用可作为互补的学习信号。