FactoryBench：评估工业机器理解能力

arXiv:2605.07675v2 公告类型：替换并交叉列出 摘要：我们提出 FactoryBench，这是一个基于工业机器人遥测数据、用于评估时间序列模型和大语言模型（LLM）机器理解能力的基准。问答对按照四个因果层级（状态、干预、反事实、决策）组织，具体体现 Pearl 的因果阶梯，并涵盖五种答案格式：四种结构化格式采用确定性方式评分，自由形式答案则通过以 LLM 为裁判的投票协议评分。我们提出了一个围绕结构化问题模板构建的可扩展问答生成框架，介绍了 FactoryWave（一个从 UR3 协作机器人和 KUKA KR10 工业机械臂采集的高密度、多任务、多变量传感器数据集），并基于 FactoryWave、AURSAD 和 voraus-AD 中约 1.5 万个标准化片段，构建了包含超过 7 万个问答条目的大规模基准 FactoryBench。对六个前沿 LLM 的零样本评估表明，没有任何模型在结构化层级上的得分超过 50%，也没有任何模型在决策层级上的得分超过 18%，这揭示了当前模型与实际运行所需的机器理解能力之间的巨大差距。