UnifiedPlayers：增强智能体强化学习中的工具集成推理

自我演化方法使使用工具的智能体能够生成自己的训练数据，从而减少对人工标注轨迹的需求。然而，现有方法通常将轨迹生成与评估分离，依赖无法适应新出现的失败模式的静态验证器，或依赖可能强化多个轨迹中共同错误的自洽性信号。联合调整规划、执行和评估提供了一种有前景的替代方案，但也带来了一个根本性的协调挑战：每个组件都在持续改变用于训练其他组件的数据或反馈。我们通过 \textbf{UnifiedPlayers} 应对这一挑战。这是一个协作框架，由负责生成任务的规划玩家、通过 Python 工具调用生成多轮轨迹的执行玩家，以及构建可执行验证器的评估玩家组成。我们设计了角色特定的奖励，在 GRPO 下协调三个玩家，使其共同实现一个学习目标。在两种模型骨干和十二个推理基准上，UnifiedPlayers 相比最强的既有基线，在数学推理任务上至少提升 3.5%，在通用推理任务上至少提升 3.9%。此外，学习得到的验证器达到了 84.2% 的对抗性检测准确率，其奖励信号的单题方差是自洽性基线的 2.03 倍，从而提供了更具区分性的验证结果。这些结果表明，专门化玩家之间的协作是实现自我增强型工具集成智能体的一条有前景的路径。