SciExam for ENSO：AI Agent 能构建气候模型吗？

arXiv:2610.10513v1 发布类型：cross 摘要：语言模型 Agent 越来越多地被要求开展开放式科学研究，但它们的结果通常是依据已知答案、评分标准或语言模型审查员进行评估的，而这些方式都无法判断一个新的科学模型是否有效。针对厄尔尼诺—南方涛动（ENSO）的 AI 科学考试（SciExam for ENSO）是一项基准测试，要求 Agent 根据真实观测数据，构建 ENSO 的低阶随机模型。ENSO 是年际气候变率的主导模态。在六小时的时间限制内，Agent 处理观测数据并编写自己的诊断程序，这些诊断程序随后被冻结；之后，Agent 只能将这些诊断结果作为反馈来开发模型。隐藏评分器随后测试模型能否再现 ENSO 的统计特征、恢复未观测变量并预测留出年份，并以同样的方式对一个已发表模型进行评分。在 12 个 Agent 系统中，有 6 个生成的模型得分高于已发表模型，主要得益于更好的重建和预测能力。表现更强的模型经过简化后，分别与关于 ENSO 暖冷不对称性的两种相互竞争的解释之一相一致；而这项任务从未提及这一仍在进行的公开争论。在信息条件不同的受控运行中，对表现最佳的系统进行测试表明，其得分并非来自回忆过时的观测记录，同时它所接收的信息会影响其构建模型的方式。因此，SciExam for ENSO 能够在不存在已知答案的情况下评估 Agent 的科研能力，而结果表明，Agent 已经能够构建具有竞争力的模型，其结构涉及科学家仍在争论的问题。