前沿模型的物理学能力有多强？专家重新评分揭示评测失效与领先基准测试趋于饱和

领先物理学基准测试中的低报告得分（包括 Artificial Analysis Intelligence Index (2026) 收录的基准测试）表明，前沿语言模型在高级物理学方面仍然举步维艰，而高级物理学是对其科学推理能力和定量问题求解能力的严峻考验。然而，这种印象并不总是与领域专家在实际工作中使用这些模型时的体验相符。我们通过在六个广泛使用的物理学基准测试上评估前沿模型，并邀请专家对评测结果进行审查，重新考察了这些报告结果，重点关注最终答案可验证的纯文本题目。针对物理学的每个子领域，具备相关专业知识的教师和研究生研究人员会仔细审查题目陈述、参考解答和模型回答，以区分模型的真实错误、评分器错误、错误的参考解答，以及含义模糊或信息不充分的问题。在经过审查的案例中，大多数最初被评为错误的结果，反映的是这些基准测试本身的问题，而不是模型物理学推理方面的错误。随后，我们请专家通过修正错误的参考解答，并修复或排除有缺陷的问题，来解决这些基准测试问题。我们发现，在 HLE-Physics 上，GPT-5.6-Sol 的测得 mean@4 从 47.3% 上升至 78.7%；在 CMT-Benchmark 上，则从 61.0% 上升至 87.2%；在保留的 54 道 CritPt 挑战题上，其修正后的 pass@4 达到 94.4%。修正后的得分是在专家审查后保留的评测子集上计算得出的。经过修正后，UGPhysics、PRISM-Physics 和 PHYBench 审查子集上的得分也大幅提升。这些发现表明，当前基准测试显著低估了前沿模型解决定义清晰的物理学问题的能力。在这些封闭式任务上接近饱和的表现凸显出，我们需要更具挑战性、并经过专家验证的评测。