arXiv cs.LG精选80

PuzzleJAX:一个用于推理与学习的基准

PuzzleJAX: A Benchmark for Reasoning and Learning

· 7天前

精选理由

介绍可动态编译多样益智游戏的基准,助力评测搜索、强化学习与大模型推理能力

AI 摘要

arXiv:2508.16821v2 发布类型:replace-cross 摘要:我们介绍了 PuzzleJAX,这是一款 GPU 加速的益智游戏引擎及描述语言,旨在支持对树搜索、强化学习和 LLM 推理能力进行快速基准测试。不同于现有的 GPU 加速学习环境仅提供针对固定游戏集合的硬编码实现,PuzzleJAX 支持对任何可用其领域特定语言(DSL)表达的游戏进行动态编译。该 DSL 遵循 PuzzleScript;PuzzleScript 是一款广受欢迎且易于使用的在线游戏引擎,用于设计益智游戏。在本文中,我们在 PuzzleJAX 中验证了自 2013 年发布以来由专业设计师和业余创作者设计的数千款 PuzzleScript 游戏中的数百款,从而展示了 PuzzleJAX 对一个广泛、富有表现力且与人类高度相关的任务空间的覆盖能力。通过分析搜索、学习和语言模型在这些游戏上的表现,我们表明,PuzzleJAX 能够自然地表达这样的任务:它们既简单直观、易于理解,却往往极难掌握,需要控制、规划和高层次洞察力的结合。

查看原文(arXiv cs.LG)