MEV：用于长镜头生成的多事件视频数据集

当前用于文本到视频生成的数据集大多局限于描绘单一事件的短片段，或仅提供粗粒度的描述。因此，它们为建模长镜头时序依赖提供的监督有限，在描述多个事件时，生成结果往往存在时序不一致问题。本文提出 MEV，这是一个面向长镜头视频生成的多事件视频数据集。MEV 提供高质量的真实世界视频，其中的主体能够依次执行一系列彼此 distinct 且不重叠的事件，并配有精确的时间边界和细粒度的过程标注。这种以事件为中心的离散化方式减少了混杂因素，使模型能够支持时间局部化条件控制，并基于原子事件单元构成长镜头视频。此外，我们提出了一套全面的标注流程，将视频分割为具有时间定位的事件，并在全局层面和事件层面生成结构化描述。除此之外，在以事件为中心的评估协议下，我们通过使用具有时间定位的事件条件在 MEV 上进行微调，开展了多事件生成实验，从而改善了长镜头中的事件过渡，并生成更加连贯的内容。我们相信，这项工作为多事件微调和以事件为中心的评估提供了一个公开可用的资源，同时也为从具有时间结构的视频文本数据中学习提供了实用见解。