ScienceArena：面向最新科学奥赛竞赛的 LLM 基准评测

基准饱和和数据污染正日益掩盖前沿 LLM 中真正的科学推理。我们提出 \textsc{ScienceArena}，这是一个来自物理、化学和生物领域十三项公开科学竞赛的奥赛风格基准，包括 IPhO 和 IChO 2025--2026、IBO 2023、USAPhO 2026 以及 USNCO 2025。其开放式、多步骤题目采用过程得分规程，因此忠实评分十分困难。我们通过一条经过专家审校的数字化流程构建 ScienceArena，该流程将官方试卷、图表、解答和评分规程转换为结构化条目，并由奥赛奖牌获得者验证。为将评测规模扩展到昂贵的人工评分之外，我们在 IPhO 和 IChO 上来自五个模型的存档答案上，将 LLM-as-judge 与奖牌获得者的真实标准进行校准；两个强评审都能将总分控制在专家总分一分以内。奖牌获得者的笔记表明，失败往往源于视觉对齐、结构忠实性以及全局题目掌控，而非缺少术语。我们使用交错求解评测了十四个近期 LLM，发现顶级模型在若干公开国际考试上获得了相当于奖牌水平的评分规程分数，而化学和长程一致性仍是关键瓶颈。我们提供一个交互式 \href{https://science-arena.onrender.com/}{演示}。