GameHorizon Suite：游戏中的多时间跨度数据与评测

现代电子游戏为 AI 模型提供了一个可测量的测试平台，综合考察视觉理解、指令分解、目标规划以及跨多个时间跨度的精确动作控制能力。然而，现有数据集和基准要么覆盖的游戏范围狭窄，要么缺乏语言指令，要么依赖高方差的在线推演。为应对这些挑战，我们提出 GameHorizon，这是一个统一的数据与评测套件，用于衡量不同模型家族在不同时间跨度下的游戏能力。GameHorizon Suite 由三个部分组成。首先，GameHorizon-Annotator 是一个面向多时间跨度指令的可扩展自动化标注流程。其次，利用该流程，我们构建了 GameHorizon-Data，这是首个大规模 AAA 游戏数据集，包含在时间上对齐的视频、玩家动作和多时间跨度指令。该数据集由 100 名人类专家玩家采集，涵盖来自 21 款游戏的 5,000 小时录制内容。第三，我们构建了 GameHorizon-Bench，支持可复现的离线测试和分步在线测试。离线赛道通过数千道标准化问题实现可复现评测，这些问题被组织为三项主要任务及一系列诊断变体；在线赛道则测试离线得分是否能够反映实际游戏能力，并将失败定位到长时间跨度游戏过程中的具体步骤。基于 GameHorizon Suite，我们通过超过一百万次模型调用评测了 47 个模型，揭示出具有实际意义的任务难度层级以及模型能力之间的显著差异。我们的工作可为跨不同时间跨度和模型家族的游戏能力评估提供标准化标尺。我们将发布数据集、标注器和基准，以促进未来研究。