一个编辑器,多种编辑:用于多样化视频编辑的统一免训练框架
One Editor, Many Edits: A Unified Training-Free Framework for Diverse Video Editing
精选理由
帮助读者把握无需训练的统一视频编辑新方法,可兼顾指令与参考编辑。
AI 摘要
视频编辑涵盖多种编辑范式,然而在单一统一框架内实现高质量的指令引导和主体引导编辑仍具挑战性。我们提出 EditVid,这是一个免训练框架,结合了用于局部一致性的稀疏因果记忆、用于长程身份保持的基于对应关系的后注意力 token 注入,以及用于编辑局部性的软潜变量融合。同一框架支持指令引导和参考引导的编辑,包括风格迁移、属性修改、对象插入、部件级编辑和主体替换。在 FiVE 上,EditVid 达到 78.16 FiVE-Acc,而评估中最强的免训练基线为 58.95,同时在 IVEBench 上取得了有竞争力的结果。一项用户研究进一步显示,相较于 7 种竞争方法,EditVid 获得了 51.8\% 的总体偏好。