arXiv cs.AI精选81

VideoX-Qwen:以数据为中心的基于指令的视频编辑

VideoX-Qwen: Data-Centric Instruction-Based Video Editing

· 21天前

精选理由

提供可规模化的视频编辑数据与训练框架,提升指令遵循、内容保持和画质表现。

AI 摘要

通用视频编辑的发展依赖于构建大规模成对监督数据,并有效地使视频生成骨干模型适应指令驱动的编辑。不同于视频生成,视频编辑必须执行所请求的变换,同时保留无关主体、场景结构、运动和时间连续性。我们提出了 VideoX-Qwen,这是一个面向通用指令驱动视频编辑的集成式数据构建与模型训练框架。我们的可扩展生产流程将专门的生成模型与理解模型组织成互补的添加、移除、替换和属性编辑路径,随后进行质量筛选与指令增强。该流程生成了超过 120 万条定向视频编辑数据记录,其中每个主要任务组均包含超过 40 万条记录,自动接受率达到 89%。由此得到的数据集通过统一的源视频-指令-目标视频接口,对常见编辑操作进行了广泛且结构化的覆盖。我们进一步开发了统一的 Qwen-Wan 编辑器,将多模态语义条件与密集的源视频潜变量引导相结合。渐进式图像-视频训练策略对齐了多模态指令接口,使视频生成器适应源视频条件下的编辑,并利用筛选出的高分辨率数据进一步提升输出质量。在与 UniVideo 和 Kling O1 基于 100 个样例的比较中,VideoX-Qwen 在报告的 11 项指标中的 9 项上取得了最佳平均结果,这些指标涵盖指令遵循、编辑质量、内容保留、结构与感知相似度以及视频分布质量。总体而言,大规模数据生产系统与统一训练框架为构建更强大的指令驱动视频编辑能力提供了实用基础。

查看原文(arXiv cs.AI)