SciExam for ENSO：AI 智能体能构建气候模型吗？

语言模型智能体越来越多地被要求开展开放式科学研究，但其成果通常是依据已知答案、评分标准或语言模型评审者来评判的，而这些方式都无法判断一个新的科学模型是否有效。AI Science Exam for El Nino-Southern Oscillation（SciExam for ENSO）是一项基准测试，要求智能体根据真实观测数据，为 ENSO 这一年际气候变率的主导模态构建低阶随机模型。在六小时的时间预算内，智能体处理观测数据，编写自己的诊断程序，随后这些程序被固定下来，智能体仅以这些诊断程序的结果作为反馈来开发模型。之后，隐藏的评分程序检验模型能否再现 ENSO 的统计特征、重建未观测变量并预测预留年份，同时以相同方式对一个已发表的模型进行评分。在十二个智能体系统中，有六个构建出的模型得分高于已发表模型，优势主要来自更好的重建和预测表现。表现较强模型的简化形式，各自都与关于 ENSO 暖冷不对称性的两种相互竞争的解释之一相容，而这一尚无定论的争议在任务中从未被提及。在不同信息条件下对最优系统进行的受控实验表明，其得分并非源于对带有日期的观测记录的记忆，而且它所接收的信息会影响其构建模型的方式。因此，SciExam for ENSO 能够在没有已知答案的情况下评估智能体的研究；结果表明，智能体已经能够构建具有竞争力的模型，其结构与科学家仍在争论的问题密切相关。