SceneRig：一种从单幅图像重建可用于仿真的 3D 场景的智能体系统

仿真是机器人技术中的强大工具，但要大规模构建多样化、可用于仿真的场景仍然十分困难。从单幅图像重建场景是一种很有前景的替代方案，但仅具备视觉相似性还不够：还必须恢复物体、准确放置物体，并使其符合物理规律。依赖事后物理沉降的现有方法往往会错误放置物体，生成看起来正确、但在操作过程中表现不佳的场景。我们提出了 SceneRig，这是一种能够将单幅图像转换为可编辑、可用于仿真的场景的智能体系统。SceneRig 结合几何、视觉和物理工具，重建高保真 3D 场景。随后，智能体在物理模拟器中执行编辑—验证循环，以实现物理稳定性。在多样化输入上，SceneRig 提升了实例分割、以物体为中心的外观重建和 3D 放置效果，同时保持重建场景的物理稳定性。此外，SceneRig 对下游机器人任务也很有效：与基线方法相比，其生成的场景能够更准确地预测真实机器人策略的结果，并且无需调整轨迹，就能更可靠地支持已记录操作的重放。