利用 Cosmos 为物理 AI 构建交互式世界仿真

arXiv:2611.06627v1 公告类型：交叉发布 摘要：我们提出了一个通用框架，将 Cosmos 世界基础模型适配于物理 AI 中的实时交互式世界仿真。该框架根据动作和场景控制以流式方式输出视觉观测，使用户和具身智能体能够与不断演变的虚拟环境进行交互。它既支持预测动作产生的视觉结果，也支持根据外部仿真器维护的物理状态生成观测。我们在相机导航与机器人操控、可控视频迁移以及多视角自动驾驶车辆（AV）仿真等场景中展示了这一方法。这些示例为开发用于物理 AI 训练和评估的交互式虚拟环境提供了通用基础。我们的代码和模型检查点已发布于 https://github.com/nvidia/cosmos 和 https://huggingface.co/collections/nvidia/cosmos3-examples。项目网站为 https://research.nvidia.com/labs/cosmos-lab/cosmos-simulation。