SceneAE：在可查询的三维锚定潜在空间中生成与重建场景

近年来，视频世界模型越来越多地采用三维记忆机制，将历史观测整合为轻量且持久的场景表示。这自然引出了一个相关问题：如果三维表示能够作为记忆已观测场景的有效机制，那么它们是否也能直接用作重建和生成场景的潜在空间？受这一想法启发，我们将场景表示为一个紧凑、非结构化的三维锚定潜在空间（\textbf{SceneAE}）。每个潜在变量都结合了显式的三维位置与隐式的内容特征，并通过空间锚定来描述其局部场景区域，从而形成稀疏的潜在点云。传统的视频 VAE 潜在变量描述的是场景从特定视角看起来的样子，而我们的表示直接描述场景本身，因此天然适用于重建和生成。在重建方面，一旦场景生成完毕，我们的持久三维表示便可通过不同的目标相机进行投影，并解码为 RGB-D 观测，无需为每条新的相机轨迹重新生成视频。在生成方面，我们利用几何与内容的分离，先生成由相机控制的三维几何结构，再以此为条件合成内容，从而减少相机与外观之间的纠缠，提高相机可控性。实验表明，这种三维潜在表示在生成质量、计算成本和相机可控性方面均表现更优。