Generative Cinematographer：在 3D 中编排相机与物体运动

当前可控视频生成系统通常依赖 2D 运动轨迹或稀疏的拖拽信号来控制物体运动。这些控制方式存在歧义，因为同一条 2D 轨迹可能对应不同的 3D 运动，尤其是在相机和物体同时移动时。我们提出 Generative Cinematographer（GenCine），这是一个将单张图像提升为可编辑 3D 场景支架的系统，使艺术家能够共同创作相机运动和前景运动。艺术家可以指定相机路径，并使用局部 3D 运动控件移动选定的前景区域。多个控件可以独立移动主体的不同部分，在无需物理模拟器或特定类别先验的情况下，以分段刚性的方式近似非刚性运动。为了将这些控制信息传递给预训练视频模型，我们将其投影为引导图。这些图记录受控区域在每一帧中的出现位置，为每个控件在所有帧中分配固定颜色，并在与背景相同的世界坐标系中编码其受控点当前的 3D 位置。这样，即使相机发生移动，我们也能描述相对于场景的物体运动。在训练过程中，我们从真实视频中恢复运动过程中观察到的控制信息，并使用合成视频中的真实几何结构和轨迹。我们在预训练的 Wan 模型上训练了一个轻量级引导分支和 LoRA 适配器，使其能够遵循这些控制信息。实验表明，该系统能够实现一致的相机相对运动，在视点变化下提升几何一致性，并在多样化的真实场景中提供强大的可控性。