DepthWorld：用于机器人操作的 3D 世界模型

世界模型为机器人技术提供了传统模拟器之外的数据驱动替代方案，应用涵盖策略评估、策略改进和规划。所有这些用途都依赖于可靠的 3D 几何信息，但当前基于视频的世界模型仅使用 RGB 数据进行训练，生成的推演结果虽然逐帧看起来正确，却无法组合成一致的 3D 世界。弥合这一差距需要在两个方面取得进展：用于操作任务的大规模 3D 监督数据，以及一种能够吸收这些数据、同时不破坏强大预训练视频先验的架构。我们提出了一种标定流程，将学习式立体深度与联合因子图相结合，对从同一台实体机器人采集的所有轨迹进行汇总，从而恢复其共享的运动学参数以及各场景独立的外参。将该流程应用于 DROID 数据集后，我们得到 DROID-3D，这是一个经过标定的 3D 数据集，提供稠密度量深度和重新标定的多视角外参（对于外部相机，90% 的轨迹重投影误差小于 0.7 像素）。随后，我们训练了 DepthWorld，这是一种基于 Stable Video Diffusion 的世界模型，通过空间潜变量平铺联合预测多视角 RGB 和深度，同时保持预训练变分自编码器（VAE）不变。在相同训练预算下，与完全相同的仅使用 RGB 的基线相比，深度监督使 RGB 预测本身的 PSNR 提升了 1.48 dB，同时为下游几何推理提供了准确的度量深度。