AceAction-5M：跨越3D游戏世界的层级目标通用型动作学习

电子游戏为收集视觉-语言-动作（VLA）数据提供了一个实用环境，而在物理环境中获取此类数据的成本高昂。然而，现有数据集仍受到游戏覆盖范围有限、语言监督稀疏，或时间层级未必能反映任务目标变化等因素的限制。我们推出了AceAction，这是一个涵盖多款3D游戏的人类游戏过程数据集，用于学习技能组合与子目标转换。AceAction围绕完整任务组织示范数据，将总体指令、有序子目标和局部技能指令，与时间对齐的视觉观测以及键盘和鼠标操作关联起来。为构建这些标注，我们开发了一套视觉-语言模型流水线，用于根据目标或交互对象的变化识别子目标，将导航目标锚定到视觉上可识别的路径点，并将相邻子目标组合成任务指令。最终形成的示范涵盖导航、侦察、战斗、交互和恢复等场景，并通过明确的阶段边界，将任务进展与细粒度控制联系起来。我们通过基于模型的验证和人工检查评估标注质量。对500条轨迹的审查显示，在独立评审者的评估中，通过率达到95.8%。AceAction为研究智能体如何在动态游戏环境中执行、组合和切换技能以遵循复杂指令提供了数据基础。