用于 LLM 智能体训练的匹配上下文组策略优化

训练长时程语言模型智能体，需要根据稀疏的终局反馈为中间决策分配信用。在有限的一组同源 rollout 中，有效的动作比较取决于其上下文、支持两个备选动作的证据，以及这些证据如何融入学习。我们提出 Matched-Context Group Policy Optimization（MCGPO），这是一种从已收集的轨迹中构建加权动作偏好的方法。MCGPO 使用动作前的状态摘要和观测到的评分标准完成进度来定义比较上下文，并依据任务规则进行标注。双动作支持度用于在有序的精确匹配规则和粗粒度匹配规则之间进行选择。固定的数据分折将候选决策与用于确定其偏好方向的终局结果分离，而依赖支持度的证据权重则用于缩放辅助成对目标，使其与共享的 GraphGPO 任务学习共同进行。MCGPO 复用 rollout 数据和每条响应的原始历史，保持无需 critic 的训练方式。在六种环境与骨干模型组合设置中，每种设置均采用三个训练随机种子，MCGPO 的平均成功率均优于对应的 GraphGPO：在使用 Qwen2.5-1.5B 和 7B 的 ALFWorld 与 WebShop 上提高了 0.47–1.46 个百分点，在使用 Qwen3-4B 和 8B 的 WebShop 上分别提高了 3.96 和 5.16 个百分点。ALFWorld 上的提升是在基线成功率已超过 92%、剩余提升空间有限的基础上取得的。在四种 Qwen2.5 设置中，有三种的积分成功率得到提升。采用三个随机种子的析因对照实验支持使用另一数据折的证据和证据加权；状态与评分标准的联合匹配在全部四种表示对照设置中均取得了最高平均值。