VideoEditor-MoE：通过混合专家扩展复杂视频编辑能力
VideoEditor-MoE: Scaling Complex Video Editing with Mixture of Experts
精选理由
提出稀疏混合专家视频编辑框架，在提升复杂指令处理能力的同时控制计算成本，并揭示专家路由规律。
AI 摘要
复杂视频编辑需要理解复杂指令，同时满足多项编辑请求。通过扩大稠密模型规模来满足这些需求，会大幅增加计算成本。我们提出 VideoEditor-MoE，这是首个用于视频编辑的开源混合专家框架。除稀疏的 MLP-MoE 层外，MoE-Attention 通过路由选择的键值专家扩展注意力容量，同时保留视频词元之间的全局交互。VideoEditor-MoE 基于一个 50 亿参数的视频编辑模型初始化，扩展至 140 亿和 560 亿参数，两个版本每个词元激活的参数量均约为 80 亿。我们通过与现有方法及两个互补基线 Explicit-MoE 和 MLP-MoE 进行比较，评估其相较于显式专家引导和仅在 MLP 中使用专家的架构的优势。进一步分析表明，所有专家均保持活跃，且学习到的路由对样本内容和扩散噪声水平的响应强于对人为定义的编辑类别的响应。空间分析进一步表明，路由对对象级语义特征具有敏感性。我们还发现，解耦权重衰减可作为稳定专家规模扩展的策略。