arXiv cs.AI精选76

LoGo:用于一致性长时域视频生成的局部-全局奖励

LoGo: Local-Global Rewards for Consistent Long-Horizon Video Generation

· 11天前

精选理由

局部与全局奖励协同提升长视频生成的三维一致性与镜头控制能力

AI 摘要

相机控制视频模型正快速发展,朝着更长的生成时域和更复杂的相机控制迈进。其中一个关键失效模式是三维不一致性:随着相机移动,物体失去持久性,场景结构发生偏移。现有的后训练技术通常为整个生成结果分配单一标量奖励,因此难以有效纠正长时域生成中的此类不一致性。我们提出 LoGo,为相机控制视频模型融合全局奖励与空间局部化奖励。局部奖励提供细粒度的信用分配,显著提升三维一致性;全局奖励则保持相机跟随能力和视频质量。在三个基础模型上,LoGo 在 DL3DV 和 TrajectoryBench 上均展现出明显优势。TrajectoryBench 是一个针对长时域、复杂相机控制生成的新基准,弥补了当前评测的不足。LoGo 能够有效减少局部物体偏移、伪影和全局场景变化,体现了信用分配在视频模型后训练中的重要性。项目网站:https://ziqi-ma.github.io/logo-website/

查看原文(arXiv cs.AI)