PickMoment:通过学习去模糊与模糊到视频实现连续时间单图像到视频
PickMoment: Continuous-Time Single-Image-to-Video via Learning Deblurring and Blur-to-Video
精选理由
用单一模型连续恢复清晰图像、生成视频并选取任意时刻,无需迭代采样。
AI 摘要
运动模糊源于在有限曝光窗口内对连续清晰信号进行时间积分,然而现有基于学习的方法绕开了这一物理模型,只预测清晰信号本身:大多数单图像去模糊方法恢复曝光中心时刻的单帧图像,而模糊到视频方法则预测一组固定帧。我们提出 PickMoment,这是一种连续时间重构方法,利用单个确定性模型,直接学习曝光区间内任意子区间的区间平均模糊。受 MeanFlow 平均速度表述的启发,我们利用由模糊积分得到的三种监督信号训练模型:基于可用子帧的经验重建损失、约束重叠子区间之间自洽性的可加性损失,以及以零区间极限为锚点的清晰帧损失。经过训练的单个模型将单图像去模糊、模糊到视频生成和连续时间任意时刻选取恢复统一起来,将它们视为对同一网络的不同查询,无需针对每项任务分别训练。在 GoPro 和 HIDE 上,PickMoment 在基于生成的方法中实现了最先进的去模糊性能;在 RealBlur 上,其性能可与基于复原的方法相竞争;在 GoPro-7 模糊到视频任务中,其逐帧保真度最高。所有结果均通过单次前向传播获得,无需迭代采样。