LabOPBench：面向基于证据的实验室决策的多模态基准
LabOPBench: A Multimodal Benchmark for Evidence-Grounded Laboratory Decision Making
精选理由
LabOPBench为评估模型能否结合多模态实验室证据作出可靠决策提供基准，并揭示其与专家水平的差距。
AI 摘要
实验室实验不只是遵循预先制定的规程，还需要随着实验状态的变化进行适应性决策。现有科学基准很少评估实验室场景中此类基于证据的决策。在此，我们提出 LabOPBench，这是一个多模态基准，包含 756 道由专家编写并经独立审核的有机合成与材料科学问题。每道题都将实验室证据与操作背景及开放式判断任务相结合，并使用针对该题制定的评分细则进行评估。八个多模态模型的总体归一化得分为 28.8%–45.8%，表明仍有很大的提升空间。在一个包含 100 道题的受控子集上，表现最好的模型平均而言优于本科生参与者，但仍低于博士生参与者的平均水平。专家对排名前三的模型回答进行分析后发现，证据误读和证据与决策冲突是主要的错误模式。这些结果表明，当前模型仍难以将多模态感知转化为可靠的实验室决策。