ScholarCatalyst：一项用于检索启发新研究的论文基准

是什么造就了伟大的科学家？即使 AI 系统已开始在开放问题上取得进展，科学家在判断一项新问题需要哪一个埋藏于不断增长的研究档案中的既有思想方面，仍远远领先于它们。为研究这项能力，我们借助那些亲身了解哪些早期工作推动了其已完成项目的研究人员，并将论文作为指向其中思想的线索。通过使用可扩展作者标注的自动化流程，我们让 207 篇近期计算机科学论文的 184 位第一作者标注候选论文中哪些已经或本可以推动他们的项目，并要求每位作者提供详细的理由，由此构建了 ScholarCatalyst。我们提出了一项采用作者提供的判断结果的检索任务：给定一个初始研究问题，仅从项目开始时已经 उपलब्ध的文献中检索这些论文。尽管智能体搜索将同一个检索器作为工具调用，其表现并不优于嵌入检索（Recall@20 为 0.42，对比 0.48）。即使是基于 Claude Fable 5.1 构建的智能体——它可能在训练期间见过这些已完成的论文——也只能达到 0.51 R@20。这些结果凸显了开发新训练方案的必要性，使模型具备在广泛语料库中进行搜索的专家直觉。我们设想，ScholarCatalyst 将成为迈向科学智能体的一步：这类智能体能够接过一个尚未成形的想法，并指出它所需要的既有研究。