arXiv cs.AI精选75

TriPhysBench:评估具身智能体的物理智能

TriPhysBench: Evaluating Physical Intelligence for Embodied Agents

· 1天前

精选理由

提出具身物理智能评测基准与训练方法,揭示模型短板并提升其结合感知、检索和推理解决定量问题的能力。

AI 摘要

具身智能体需要物理智能,通过物理感知、物理知识检索和物理推理来理解周围环境。这些能力必须协同发挥作用,才能解释事件并作出定量判断。现有基准推动了物理理解和通用工具使用能力的发展,但对这些能力在物理场景中的协同表现仍缺乏充分刻画。受波普尔“三个世界”理论的启发,我们提出了 TriPhysBench,该基准包含来自 200 段视频的 410 个问题,将物理感知、物理知识检索和物理推理纳入统一的评估环境。其基于测量和基于知识的子任务分别对获取观测信息和外部规格参数提出互补要求,随后要求将这些信息应用于定量问题。在六个具有代表性的视觉语言模型中,表现最好的模型答案准确率也仅为 50.38%,表明模型在需要这些能力协同发挥作用的任务上表现有限。我们进一步提出 TriPhys,这是一个从完整的工具集成轨迹中学习物理感知、知识检索和定量推理统一策略的框架。该策略利用中间推理引导检索和计算,再将工具反馈融入后续的物理推断。在来自未纳入训练的视频的 110 个问题上,TriPhys 在三种 Qwen 配置下均提升了答案和解答过程得分,其中 TriPhys-27B 相较于其骨干模型 Qwen3.6-27B,答案准确率相对提升了 17.7%。本研究提供了一个评估基准和一条学习路径,推动具身智能体超越事件识别,迈向对事件背后物理过程的理解与推理。

查看原文(arXiv cs.AI)