WorldFlow：通过大规模预训练联合预测视频和 3D 运动

预测未来物理状态是具身智能面临的核心挑战之一。现有的视频世界模型将 3D 动力学隐含其中，基于动作的建模方式仍受限于特定的机器人构型，而 3D 运动预测模型仅使用流监督，为物理动力学提供的学习信号十分有限。为克服这些局限，我们提出 \method{}，一种联合预测未来视频和基于查询的 3D 轨迹的生成式世界模型。通过将 3D 运动参数化为与视频网格对齐的连续位移标记，统一的 Mixture-of-Transformers（MoT）骨干网络在 rectified-flow 目标下对两种模态进行联合去噪。该方法将显式几何动力学与视觉演化相结合，有效释放了预训练视频模型中蕴含的物理常识。为实证扩展并验证这一统一架构，我们在涵盖模拟和真实世界领域的异构数据混合集上训练 \method{}，其中包含 144 万个对象级样本。我们进一步推出 WorldFlowBench，该基准包含来自模拟和真实世界交互的 11 个数据源的 1,678 个评估样本，其中包括空间推理任务。在全部三个评估集上，WorldFlow 的平均位移误差（ADE）和最终位移误差（FDE）均为参与评估的基于学习方法中最低。值得注意的是，在具有挑战性的 SpatialCog 数据集上，WorldFlow 达到 0.060 米的 ADE，与最强外部基线相比降低了 54.2%。与其仅使用流的变体相比，WorldFlow 还分别将 ADE 和 FDE 降低了 55.9% 和 68.5%。项目主页：https://worldflow-rbs.github.io/。