OpenGameEval：在有状态游戏引擎中对智能体编程与探索进行基准测试

arXiv:2610.02563v1 公告类型：新 摘要：我们提出了 OpenGameEval，这是一个用于在 Roblox Studio 中进行智能体游戏开发的基准测试与评估框架。该框架让语言模型以智能体身份运行于可复现的、有状态的游戏引擎会话中，并通过可执行检查对每次运行进行评分，检查对象包括被编辑的场景以及模拟游玩会话。大多数智能体编码基准测试要求进行探索，却只对最终任务是否成功进行评分。OpenGameEval 在其八工具动作空间中将观察工具与编辑工具分离，因此可以直接衡量探索行为。我们针对 84 个由人工整理的核心任务，对 13 个前沿模型的通过率和探索行为进行了测量，每个任务尝试 16 次。这些任务对当前模型而言难度很高。在单次尝试中，表现最佳的模型能解决 51.7% 的任务；在五次尝试中全部成功的比例为 39.4%；此外，没有任何受测模型能够解决其中六个任务。处于前沿水平的模型通过解决不同任务达到了相近的通过率：按照任务所需的工作类型进行划分后，在脚本编写任务上，排名前五的模型通过率差距扩大至 5.0 个百分点；在场景修改任务上则扩大至 12.5 个百分点。探索行为可以预测一次运行是否成功。在任务和模型保持不变的情况下，对于仅涉及场景的任务，在执行操作前检查参考解所涉及的每个对象的运行，其通过率比完全不检查这些对象的运行高 13.4 个百分点；对于仅涉及脚本的任务，这一差距为 9.8 个百分点。我们以 MIT 许可证在 https://github.com/Roblox/open-game-eval 发布任务套件、其中的 place 文件、每个任务的注释、用于在 Roblox Studio 内运行任务的插件，以及更新后的排行榜。