ULTRADISCOVERY：互联的、认识论开放宇宙中的溯因探索

科学发现往往始于零散线索要求我们以新的方式描述世界。当世界在认识论上开放时，这种溯因探索可能需要构建一种用于表述解释的表征；当世界在结构上互联时，则可能需要整合分散在不同语境中的证据。现有基准很少将这两种要求区分开来，或对它们进行独立控制。我们提出 ULTRADISCOVERY：一个由五个领域构成的交互式世界。在其中，智能体需要修正一个最初成功的理论，并预测一次未见过的跨领域干预的结果。一个 \(2 \times 2\) 设计分别控制表征是否开放或被披露，以及证据是否分散或经过对齐，同时固定潜在动力学。表征开放时，参与测试的十一个模型中的智能体往往会撤回被教给它们的公理，但没有一个会引入未观察到的实体，或重写替代理论所需的变量。披露表征会使干预请求增加三倍，并额外提供世界所能提供的十八项发现中的约一项；对齐证据带来的增益更小。两个厂商测试框架系统能够将发现扩展到更多领域，其中一个还会在 Open 情节中重写变量。没有任何系统能在200次付费操作内作出精确预测。在更大的预算下，同时获得两种辅助时出现了一次精确预测，而所有 Open 情节仍然未能精确预测。结果表明，困难在于如何从积累证据迈向将其整合为一种能够迁移的表征。