LLMs 能在真实世界和平行世界中发现科学定律吗？

科学方程发现长期以来一直是科学进步的核心，通常通过假设生成、观测检验以及在科学约束下的反复迭代来推进。随着 LLM 能力的提升以及其在 AI for Science 中角色的扩展，一个尚未解决的问题是：它们是否 באמת能够真正发现科学定律，以及这种能力应如何评估。现有评测往往要么通过合成设置简化发现过程，要么复用已发表的目标，而这些目标可能已经为 LLM 所熟悉。因此，我们提出 SCILAWS-BENCH，一个基于已发表研究和真实科学数据构建的科学定律发现基准。它包含从 381 篇科学论文中整理出的 118 个问题，覆盖 291 条候选定律，以及来自六个科学学科的大约 800 万个真实数据点。每个问题都在两种互补设置中实例化：(1) SCILAWS-REAL 要求模型基于固定的真实观测提出定律，并评估其留出预测拟合与源文献中导出的科学有效性；(2) SCILAWS-PARALLEL 要求模型主动查询残差校准的世界，并恢复从已发表形式中推导出的合成隐藏定律。这种双设置任务设计在保留每个问题科学背景的同时，分别评估固定记录下的定律发现与对新合成隐藏定律的主动恢复。我们发现，预测拟合与科学有效性可能并不一致，记忆会影响模型是复现还是超越已发表公式，而我们的 best-of-N 研究揭示了一个选择瓶颈。我们的工作提供了一个基于论文的基准，以及用于评估 AI 科学发现的新实证视角。Project page: https://yiyihum.github.io/SciLaws-Bench