Weave Forcing:面向交互式长视频生成的组合式记忆路由
Weave Forcing: Compositional Memory Routing for Interactive Long Video Generation
精选理由
通过语义路由与掩码记忆编织,实现长视频跨镜头角色、背景的精准一致生成。
AI 摘要
自回归视频生成的最新进展提升了长时段生成中的时间一致性,但交互式叙事所需的不仅是连续扩展场景:新镜头可能会结合来自不同历史镜头的角色和背景。整体提示检索可能忽略各个组成部分不同的参考需求,而直接组合所有历史记忆则可能引入无关的视觉内容。为解决这些问题,我们提出 Weave Forcing,一种无需训练的交互式长视频生成组合式记忆复用框架。首先,我们使用 LLM 进行语义槽路由,将用户提示分解为角色和背景描述,并为每个组成部分显式选择合适的历史参考。为隔离所需内容,掩码记忆编织利用以语义槽为条件的对比注意力图构建精细的语义掩码,从压缩的历史 KV 记忆中选择性地暴露相关 token,以指导当前镜头的生成。我们进一步引入 coverage adaptive RoPE,根据无参考、部分参考或完整参考覆盖情况调整时间偏移和记忆保留,从而解决不完整的历史参考被放置在靠近当前生成位置时出现的视觉伪影问题。大量实验表明,Weave Forcing 在保持具有竞争力的视觉质量和文本对齐能力的同时,提升了跨镜头主体与背景的一致性。