Mise-en-Video：多镜头视频生成的细粒度 3D 控制

近年来，文本到视频生成技术的发展已实现高保真的单镜头合成，然而，实际的故事创作需要兼具强镜头间一致性和细粒度可控性的多镜头视频。现有的多镜头视频生成方法虽能实现较强的一致性，但在可控性方面仍有不足。本文提出 Mise-en-Video（MeV），一种高度可控的多镜头视频生成框架，使视频创作者能够在 3D 空间中对多镜头进行场景调度，并生成相应的多镜头视频。为此，我们的框架结合了用于实现多层级叙事一致性的层次化注意力机制，以及用于精确控制每个镜头空间布局的 3D 感知布局引导。为支持训练与评估，我们开发了标准化的标注流程，并构建了一个包含层次化多镜头文本和带方向的 3D 边界框的 16 万视频数据集。大量实验表明，MeV 在视频质量、镜头间一致性和主体级可控性方面始终优于强基线方法。