FrontierMat：面向材料研发前沿的语言模型基准评测

为加速材料发现，语言模型必须能够解决研究前沿的问题。然而，源自教科书和考试的基准主要评估已有知识，对前沿研究问题的表现仍基本未经检验。我们推出 FrontierMat，这是一个包含 330 道问题的基准，问题取自航空航天、半导体、具身智能和核聚变等领域的前沿学术与工业研究。每道问题均由所在领域的顶尖实验研究人员和行业专家验证。每道问题呈现一项真实研究，要求模型推断被隐去的结果，或根据选定的实验证据得出结论。这些问题按功能领域、材料体系和主导机制的尺度进行标注，其中 130 道需要跨尺度推理。表现最强的通用模型得分仅为 53.7%；在匹配的问题对比中，跨尺度问题的得分比单尺度问题低 8.7 个百分点。一半的问题至多只有一个模型能够解答，模型的主要失败原因是认可看似合理的情况，而非实际观测到的情况。一项采用元加权持续预训练和尺度模块化自蒸馏的领域适配研究，将一个开放权重模型的得分从 36.7% 提升至 55.4%，达到最强专有模型的水平，同时提升了其在公开材料基准上的表现，且在通用基准上的综合表现没有下降。FrontierMat 提供了一个测试平台，用于衡量语言模型在支持前沿材料研发方面的进展。