EarthVerse：跨动态地球系统与自然灾害的科学智能体基准测试

地球系统分析从来源、尺度、时间和模态各不相同的观测中重建不断变化的物理过程。自然灾害使这项工作具有重大影响，因为不完整的证据可能改变对严重程度、暴露度和机制的估计。我们介绍 EarthVerse，这是一个通过包范围调查来评估科学智能体的基准。其 405 项可复现任务基于 199 个有记录的事件和 19 类灾害。智能体需要检查异构事件包，选择相互兼容的证据，执行透明的计算，协调来源差异，并在最终答案中保留溯源信息。我们提供可执行的标准答案，将每项任务分解为细粒度的答案单元，并配套特定任务的评分规则，用于评估支撑性的研究过程，同时允许多条有效路径。我们在受控的工具使用协议下评估了 25 个模型和智能体系统，随后通过受控研究定位其在证据获取、工具选择、记忆、推理、交互和科学执行方面的失败。总体来看，系统中最高的平均答案单元准确率为 84.65%，而最高的 Strict@95 仅为 34.81%。这一差距表明，当前智能体往往能完成单个步骤，却无法在证据、尺度、单位、计算和物理解释之间维持一致的链条。EarthVerse 为衡量动态地球系统中的端到端科学可靠性提供了可复现的基础。