DualWorldBench:智能体能否跨越符号世界与具身世界规划配送任务?
DualWorldBench: Can Agents Plan Deliveries across Symbolic and Grounded Worlds?
精选理由
系统评估智能体融合感知与推理进行多目标规划的能力,揭示全局计划的关键短板。
AI 摘要
近期,多模态智能体在具身规划和网页交互方面取得了令人鼓舞的进展。然而,现有评测通常依赖组合结构有限的简化任务,因此尚不清楚当前智能体能否在时间、物理和多模态约束下,稳健地整合感知与推理来完成多目标规划。我们提出了 DualWorldBench,这是一个统一的基准,用于在受控的符号—时间复杂度和具身—拓扑复杂度下评估智能体的规划能力。DualWorldBench 围绕一个共享的取货—配送接口构建,由三个互补部分组成:TextWorld,用于在不同任务组合和发布动态下,单独评估符号规划能力;SimWorld,用于在受控的拓扑变化下,借助文本、图像或多模态输入评估具身路径规划能力;以及 DualWorld-VQA,一个涵盖感知、场景理解和规划的诊断套件。实验揭示了局部理解与全局一致规划之间普遍存在的差距。在 TextWorld 中,智能体难以在相互作用的时间约束下推导出最优任务序列;在 SimWorld 中,具身观测无法被可靠地转化为可行的动作序列。DualWorld-VQA 进一步证实,感知和拓扑理解并不一定能够转化为受约束的规划能力。总体而言,这些结果表明,核心挑战在于将符号或具身证据组合成全局可行且高效的多目标计划。这些发现确立了 DualWorldBench 作为一项具有挑战性的测试平台,可用于评估感知—推理—规划更紧密融合的智能体。所有数据集和代码均已在我们的项目网站公开:https://dualworld.netlify.app/。