UniW(A)M:用于世界模型与世界-动作模型的统一混合专家框架
UniW(A)M: A Unified Mixture-of-Experts Framework for World and World-Action Models
精选理由
统一世界建模与动作生成,提升机器人跨任务控制与泛化能力。
AI 摘要
世界模型(WMs)和世界-动作模型(WAMs)分别专注于未来世界预测和可执行动作生成。尽管这些模型都从具身轨迹中学习共享的物理动力学与交互语义,但它们通常是孤立训练的,从而限制了预测与控制之间的知识复用。因此,核心挑战在于开发一种统一的学习框架,在共享这些动力学的同时,保留每种范式所需的独特建模能力。我们提出了 UniW(A)M,一种基于扩散 Transformer 构建的混合专家世界(动作)模型,将动作条件世界建模与多种 WAM 变体统一起来。共享专家负责捕获共同动力学,而原子能力专家则跨接口复用,使每个接口都保留自身的条件路径。在部署时,即插即用的自适应接口路由器(PAIR)从目标任务分块场景的一小部分中学习,为每个执行分块选择合适的 WAM 接口,在保持骨干网络冻结的同时,平衡任务成功率与执行效率。我们在 LIBERO、RoboTwin 2.0 以及三个真实世界操作任务上评估了 UniW(A)M,其真实世界平均成功率达到 88.3%,而最强基线为 76.7%。在 WorldArena 上,它在全部三个任务的动作条件世界建模中均取得领先。AC-WM 联合训练为每个动作接口的动作生成都带来了提升,而 PAIR 则将 OOD 成功率从 63.3% 提高到 76.7%。