多模态具身智能体：从计算机使用到机器人使用的统一能力中心视角

多模态智能体（MMAs）通过推理、记忆、工具和反馈维持交互，最显著地体现为计算机使用智能体；而机器人系统（RSs）则在物理动力学约束下耦合感知与执行。我们将多模态具身智能体（MMEAs）定义为以目标为导向的系统，将多模态任务推理与物理行动相结合，并根据由此产生的反馈修正决策。这引出了一个核心问题：当多模态智能体从计算机使用转向机器人使用时，会发生什么变化？我们提出 PAPAV，这是一种以能力为中心的统一框架，包含五项反复出现的功能：感知当前状态（Perceive）、预判行动效果（Anticipate）、规划可行路径（Plan）、通过接口或身体执行行动（Act），以及验证结果（Verify）。PAPAV 按功能而非架构进行定义，因此能够识别三者的共同点，并进一步比较 MMEAs 与 MMAs 以及 RSs。五项物理约束——从部分可观测性到结果不可验证性——使得能够预先确定的选择更少，也使纠正错误的空间更小。在 64 个基准测试中，显式评估主要集中于 Act；仅有 5 个评估 Anticipate，3 个评估 Verify，使这两项能力在很大程度上被任务成功掩盖。这些约束也构成了我们所指出的开放性挑战的框架。因此，PAPAV 为设计可靠的物理智能体提供了共同基础，并能够围绕全部五项能力而非仅仅任务成功来衡量进展。