VIDiff：利用多模态指令和 Diffusion Models 翻译视频

arXiv:2311.18837v2 公告类型：replace-cross 摘要：Diffusion Models 在图像和视频生成方面取得了显著成功。这推动了人们对视频编辑任务日益增长的兴趣，即根据给定的文本描述编辑视频。然而，现有的大多数方法仅关注短视频片段的编辑，并且依赖耗时的调优或推理过程。我们首次提出 Video Instruction Diffusion（VIDiff），这是一种面向广泛视频任务的统一基础模型。这些任务既包括理解类任务（如语言引导的视频目标分割），也包括生成类任务（视频编辑和增强）。我们的模型能够根据用户指令，在数秒内编辑并生成所需结果。此外，我们设计了一种迭代式自回归方法，以确保对长视频进行编辑和增强时的一致性。我们针对多样化的输入视频和文字指令，在定性和定量层面都提供了令人信服的生成结果。更多示例请见我们的网站 https://ChenHsing.github.io/VIDiff。