PAPERBENCHX：AI 能否跨学科复现科学研究？

在 AI 获得信任、能够发现新科学之前，它应当能够复现科学已经掌握的知识。复现为 AI 科学家提供了严格的检验：目标论断是已知的，但要重新获得该论断，仍需将不完整的科学描述转化为可执行的实验，并生成能够由他人独立验证的证据。现有的科学研究复现基准大多聚焦于 AI 和机器学习，其中的实验通常共享相对同质的软件栈。将这一能力扩展到不同科学学科，会带来另一种挑战：智能体必须操作特定领域的科学软件，做出物理和数值方面的选择，诊断长时间运行的计算，并区分有效证据与仅仅看似合理的输出。我们推出 PAPERBENCHX，这是一个由专家构建的论文复现任务基准，包含 93 个任务，涵盖电磁学、光子学、化学、材料科学、生物学和机器人学等 12 个研究领域。每项任务都提供源论文、公开的任务规范，以及一个涉及专用科学软件的领域原生科学环境。智能体必须重建一项关键实验，执行并诊断该实验，并交付一个支持目标科学论断的可运行工作流。为评估科学有效性而非表层一致性，我们从头开始重新运行每次提交，并仅依据针对专家验证标准重新生成的证据进行评分。在 10 种前沿智能体配置中，最佳配置在 90% 阈值下仅完整复现了 14% 的任务。与此同时，平均评分标准得分介于 27.53% 和 59.08% 之间，这表明大量的部分性进展很少能够转化为完整的科学复现。这些结果揭示了论文理解能力与可靠地产生可复现科学证据之间存在巨大差距。