ExplorationBench：衡量 AI 系统在可验证异星世界中的探索能力

科学发现始于已知问题的尽头。在那里，AI 系统必须开展探索：提出假设、设计实验，并根据结果反复迭代。然而，评估这种能力十分困难：（1）如何验证一个真正全新的假设是否成立；（2）如何确定系统是通过探索发现了该假设，还是仅仅回忆起了预训练数据中的相关知识。为此，我们推出了 ExplorationBench，将评估科学探索这一棘手问题转化为一个具体且易于处理的框架，该框架建立在可验证的异星世界之上：它们的规则是可执行的，因此每个答案都能被精确检验；同时，这些规则与熟悉的知识相冲突，因此仅凭回忆无法完成任务。该基准包含两个沙盒：AlienCode（31 个发现目标、70 项任务）和 AlienLogic（24 个发现目标、70 项任务）。每个沙盒都提供一份有缺陷的手册、针对任务的环境反馈，以及专用的工具调用模式。系统利用这些资源探索沙盒，然后解决留出的任务。我们评估了 10 个 AI 系统，发现其中最强的系统能够习得并应用陌生规则，但不同探索轨迹之间的表现差异很大，持续探索还可能停滞，或使先前取得的进展倒退。ExplorationBench 朝着这样的 AI 系统迈出了一步：它们能够在未知环境中通过探索获取并应用真正全新的知识。