CompMat-Bench：计算材料科学中的 AI Agent 基准测试

arXiv:2610.00636v1 公告类型：交叉领域 摘要：由于底层实验或计算所需的时间和资源成本高昂，在科学研究任务上评估 AI Agent 受到限制。在计算材料研究中，在不同 Agent 和试验之间重复进行相同的昂贵模拟，可能使评估变得难以实施。我们推出 CompMat-Bench，这是一个包含 94 项任务的基准测试，任务取材于近期发表的计算材料研究，每项任务都要求 Agent 完成实现该研究科学目标所需的一步。我们预先复现这些研究步骤，并评估 Agent 为昂贵模拟准备输入和分析输出的能力，从而在评估过程中无需进行昂贵的模拟。复现得到的输入和结果作为真实基准，通过固定规则对 Agent 进行评分，无需使用 LLM 评审。该基准支持四种评估条件：单项任务，以及由相关任务组成的工作流；这两类任务分别提供完整或精简的方法指导。在单项任务和完整指导条件下，基于三种 LLM 的 Agent 展现出完成单个材料研究步骤的能力，在 94 项任务中的通过率为 66.0%–90.4%。更长的工作流和精简的指导都可能限制 Agent 的性能，但对不同 Agent 的影响方式不同：它们会降低较弱 Agent 的通过率，而最强的 Agent 只有在较长工作流与精简指导结合时才会出现性能下降。失败分析表明，大多数失败源于科学错误，而非软件使用错误。CompMat-Bench 为比较 Agent 完成真实材料研究步骤的能力以及分析 Agent 失败模式提供了基础。