Player-1：从合成经验中学习玩游戏

计算机操作智能体已展现出理解屏幕内容并执行键盘和鼠标操作的强大能力。然而，游戏拥有视觉内容丰富的世界和多样化的机制，仍然极具挑战，是迈向通用数字控制能力的高难度下一步。当前的游戏智能体学习流程往往依赖大规模示范，但这些示范对动态游戏状态的覆盖有限，同时，用于交互式训练的可扩展环境仍难以获取。我们提出 Player-1，这是一个通过合成经验学习游戏控制、超越示范局限的后训练框架。我们通过引入相对指针移动、持续输入和复合动作，扩展了计算机操作的动作空间。在有监督初始化阶段，我们使用 6,044 条经过精心筛选的游戏轨迹对计算机操作模型进行微调，这些轨迹将记录的动作与任务指令和视觉推理相配对。我们构建了 Player-1-Gym，其中包含十六个围绕不同游戏共有的控制需求设计的合成 2D 和 3D 环境。可通过程序验证的奖励，以及随机化的观测和控制动态，为使用 PPO 进行多环境强化学习提供了支持。训练得到的 Player-1-9B 和 Player-1-35B-A3B 在 MineDojo-300 上的成功率相较于各自的 SFT 策略分别提高了 27.8 和 17.7 个百分点。Player-1-9B 的成功率达到 38.33%，而所评估的最强基线为 12.63%；在 ViZDoom-10 和 GameWorld 上，相较于 SFT 也取得了进一步提升。进一步分析表明，更广泛的合成环境覆盖能够改善迁移效果，而在强化学习过程中，结合多个键盘和鼠标输入的复合动作的使用有所增加。我们证明，从合成经验中学习能够在有监督初始化的基础上显著提升游戏控制能力，且这些提升能够泛化到强化学习训练环境集之外。