Faster-WAM：World Action Models 需要深层动作模块吗？

arXiv:2608.02365v2 发布类型：replace-cross 摘要：World Action Models（WAMs）建立在预训练视频模型之上，其表征扎根于物理动力学，为动作预测提供了天然基础。尽管具备这一自然基础，许多 WAMs 仍依赖深层、参数量庞大的动作预测模块，这些模块会带来较高的推理延迟，并可能对有限的机器人示范数据过拟合，从而限制其在现实世界中的适用性。本文倡导一种以世界模型为中心的原则：将容量和计算集中于视频世界模型，同时利用轻量级动作专家将主干网络的表征转换为可执行的机器人动作。我们通过三个关键设计实现这一原则：采用带有 Lite KV-Fusion 的 Dock of Transformers（DoT），使浅层轻量级动作专家能够访问所有视频层的表征；仅使用世界模型对动作专家进行条件化；以及采用 retracted 1D-RoPE，实现视频键与动作查询之间的位置对齐。我们使用 Faster-WAM 验证了这一原则。Faster-WAM 是一种以世界模型为中心的 WAM，仅配备单层动作专家。尽管限制了动作特定计算，Faster-WAM 在 LIBERO 和 RoboTwin~2.0 上仍实现了具有竞争力的控制性能，且无需额外的具身预训练。与 Fast-WAM 和 $\pi_{0.5}$ 相比，其推理速度分别提升约 $3.7\times$ 和 $1.3\times$。与其以世界模型为中心的设计一致，Faster-WAM 在分布偏移下展现出更强的泛化能力：同一个在 LIBERO 上训练的策略在 LIBERO-Plus 上取得了 $78.3\%$ 的成功率，分别比 Fast-WAM 和 LingBot-VA 高出 26.8 和 8.8 个百分点。最后，真实机器人实验表明，Faster-WAM 的成功率与 Fast-WAM 相当，同时推理延迟显著降低，任务完成时间也更短。