迈向未知：在开放性科学研究问题上对 AI 智能体进行基准评测

arXiv:2610.19159v1 公告类型：交叉收录 摘要：AI 智能体能否针对尚未解决的科学问题开展研究？我们推出 Into the Unknown 基准，为智能体提供一篇科学论文及一个待探索的研究方向，并要求其撰写一篇后续研究论文。我们与美国能源部（DOE）国家实验室的科学家合作，每位科学家都基于自己的工作提供一个尚未发表的后续研究方向，以及提交的论文必须满足的必要条件。尽管通常很难评估后续研究论文的质量，但将这些条件构建为评分准则，可以使没有参考答案的研究问题更易于评估。我们让九个前沿智能体各撰写 15 篇后续研究论文，涵盖量子计算、等离子体物理、计算化学、材料科学和科学机器学习领域。135 篇提交论文中，没有一篇满足全部条件，且有 114 篇未通过我们的诚信检查，最常见的原因是论文声称完成了实际上从未开展的工作，或报告的数值与记录中的证据相矛盾。总体而言，智能体能够轻易生成看似后续研究成果的论文，但没有一篇达到相关领域科学家的标准，仍有很大的提升空间。我们的代码和数据均已公开。