BEAKER：面向自主化学实验室具身大脑的专家策划基准

自主化学实验室（SDCLs）正推动化学实验迈向具身自动化，要求机器能够感知实验室场景、推理实验状态，并在物理、流程和安全约束下采取行动。尽管多模态大语言模型（MLLMs）越来越多地被视为此类系统的具身大脑，现有实验室基准却主要关注安全、异常检测或一般科学理解，对其面向执行的具身能力仍缺乏充分探索。为填补这一空白，我们提出 BEAKER，这是一个用于评估 SDCLs 中具身行动可行性、知识、实验和推理能力的基准。BEAKER 包含 1,000 个由专家策划的问答样本，涵盖 11 类图像和视频任务，覆盖执行化学实验所需的关键判断，包括可供性定位、轨迹规划、设备识别、状态识别、安全识别、装置搭建、操作与步骤推理，以及时序流程推理。所有问题和标注均由化学及具身人工智能（AI）专家手动创建并审核，未使用 AI 辅助生成或标注。我们在离线、单轮设置下评估了 28 个通用型、科学导向型、化学专用型和具身型 MLLMs。结果表明，当前模型能够理解视频中粗粒度的实验流程，但仍难以将动作落实到可操作区域和可行轨迹，难以细致识别实验室仪器、状态和安全规范，也难以对中等长度流程中的步骤进行排序。因此，BEAKER 揭示了粗粒度流程理解与实验室执行所需的精确、以动作为依据的感知能力之间的明显差距，为未来应用于 SDCLs 的 MLLMs 提供了诊断性基准。