SpeedrunBench：用电子游戏速通挑战 LLM agents

前沿 LLM agents 已被证明能够解决日益复杂、且人类已有可量化解决方案的任务。这引出了一个重要问题：LLM agents 能否超越人类已经解决的问题？随着那些由人类充分探索并开发出的解决方案对于缺乏背景信息或训练数据不足的问题变得不再适用，发展复杂策略以应对重大问题的能力变得至关重要。我们通过电子游戏速通这一共同实践，研究 agents 形成此类策略的能力。在速通中，参与者竞相寻找在特定条件下完成电子游戏的最快方式，并在这一过程中发掘出有趣且非正统的玩法，而这些玩法要求对底层游戏机制进行深入理解并熟练掌握。我们推出 SPEEDRUNBENCH，这是一个在 9 款不同游戏中评估前沿 LLM agents 的基准。要在该基准上取得良好表现，agents 必须不断改进策略、反思自身表现、利用已获得的知识，并对长时间跨度的行动进行推理，从而解决一个日益困难的问题：比自己和其他所有人都更快。我们的实验表明，尽管前沿 agents 在简单的平台游戏中已接近人类世界纪录，但在实际资源预算下，它们在更长、更复杂的游戏中的表现仍落后于人类。这些结果表明，SPEEDRUNBENCH 不仅是研究 agents 策略形成能力的有用测试平台，也是一种不易饱和的评估指标，因为几乎总有更快的完成时间等待被发现。