科学发现中的 AI 驱动可复现性与分析稳健性

可复现且分析稳健的研究发现对科学进步至关重要，但评估这些特性通常需要耗费大量人工工作。我们以一项基于 Surveillance, Epidemiology, and End Results (SEER) 数据库的医学案例研究为基础，探究 LLM 智能体能否帮助自动化复现与稳健性分析。SEER 是广泛使用的美国癌症登记数据库，为数万项已发表研究提供基础。首先，我们推出 SEER-Repro，这是一个包含 20 篇已发表的基于 SEER 的论文，以及复现其研究发现所需数据和资源的基准。其次，我们创建了一个 AI 智能体，成功复现了 2,190 项原子性主张中的 77.4%，同时为进一步分析提供了可执行的基线。第三，我们开发了一套智能体分析流程，用于检验医学研究发现的稳健性：识别每项发现背后的分析选择，提出合理且可辩护的替代方案，并重新运行分析，以确定这些选择是否会影响结论。在 SEER-Repro 收录的已发表论文中，我们的流程在完全复现的研究发现中识别出 9.5% 可能具有实质影响的分析选择，并将其标记出来供专家审查。这些结果表明，LLM 智能体能够通过复现研究发现、系统检验其稳健性，以及将专家注意力引向可能具有实质影响的分析选择，来支持科学审查。