FrontierPhysics：评估智能体的端到端物理研究能力

AI 智能体在物理研究中发挥着日益重要的作用。然而，现有物理基准仅评估固定问题、孤立子任务，或在给定解答的情况下进行论文复现，很少在检验正确性的同时考察研究质量。我们推出 FrontierPhysics，这是一项端到端基准，包含由 42 位物理学家基于自身研究设计的 56 项任务，涵盖理论物理、计算物理和实验物理中的九个领域。每项任务都要求智能体查阅文献、制定研究计划、开展研究与实验，并生成结构化输出和科学论文稿件。FrontierPhysics 将确定性验证器与专家编写的评分标准相结合，评估智能体的研究是否正确且达到发表标准。在涵盖 22 个模型的 26 种配置中，没有任何配置在其 168 次运行中通过超过 46 次。对智能体执行轨迹的人工审查表明，前沿智能体的主要弱点是推理不够严谨、专家直觉有限，而非物理知识欠缺或执行错误。