Unravel：从单张图像恢复可交互的 3D 场景

我们提出了 Unravel，这是一种无需训练的框架，可将单张图像转换为可交互的 3D 场景，其中每个物体都是独立且可移动的资产。现有生成器要么生成相互纠缠的单一几何体，导致其中没有任何物体可以移动；要么在一次前馈过程中预测所有物体，一旦猜测错误便无法检测或修正。Unravel 则采用了不同的方法：先将场景拆解，再将其重新组装。对于输入图像，Unravel 使用一种智能体框架逐层迭代剥离图像，并以点云作为恢复空间关系的主要模态。具体而言，视觉语言模型规划哪些物体是完全可见的，由图像编辑器移除这些物体并恢复被遮挡的区域。每次编辑在被纳入重建之前都会经过验证。该过程逐步将场景中被遮挡的部分转化为直接观测信息，使物体能够在其暴露最充分时被重建，而不是仅根据原始图像进行幻觉式推断。随后，场景按照移除顺序的逆序进行重建，从而使支撑物体能够自然地先于其所支撑的物体被放置。由于单视角图像只能展现物体的一部分，我们将观测点视为物体尺寸的下界：资产可以扩展到覆盖这些点，但不能缩小到偏离这些点。最后，我们对重建后的场景进行物理沉降，以消除悬浮物体和相互穿插现象，随后通过智能体审查来纠正残留的放置错误。在多种室内场景上进行的大量实验表明，与现有方法相比，Unravel 能够恢复更多物体，更忠实地进行放置，并生成物理合理性更高的场景。