FlashReFocus:数秒内实现交互式图像重新对焦
FlashReFocus: Interactive Image Refocusing in Seconds
精选理由
一次生成、快速反复调焦,兼顾真实细节与精准景深控制,显著提升修图效率。
AI 摘要
单图像重新对焦是在拍摄完成后改变照片的焦平面和景深。这一过程本质上具有交互性:用户会在同一张图像上尝试多个焦点和不同程度的模糊,因此每次编辑都应快速完成,并且只改变模糊效果。然而,近期的生成式方法在每次编辑时都要重新运行大型扩散模型。我们观察到,这两个子问题的性质不同:恢复全清晰图像是一个病态问题,需要生成式先验;而渲染模糊主要由深度和焦平面决定。因此,我们提出 FlashReFocus:每张照片只运行一次扩散模型,之后的每次编辑均通过轻量级网络完成渲染。为解决病态复原问题,我们采用带解码器细化器的一步扩散去模糊器,在兼顾保真度和感知质量的同时高效恢复精细细节。为了实现精确控制,渲染器以显式散焦图为条件,并使用散焦偏置注意力,使具有相近散焦程度的像素能够共享信息,同时避免受到其他深度像素的干扰;清晰对焦区域的内容保持不变,而编辑散焦图则可实现移轴效果和双焦平面效果。为进一步测试对未见过的相机的泛化能力,我们收集了 3CReal,这是一个包含 89 对样本的三相机基准数据集。在 EBB! 和 3CReal 上,FlashReFocus 在零样本散景渲染中实现了最佳感知保真度;其重新对焦速度比 GenRefocus 快 148.3 倍,后续每次编辑耗时约半秒,速度提升达 462 倍。