arXiv cs.AI精选82

CorrFlow:自校正流匹配

CorrFlow: Self-Correcting Flow Matching

· 2天前

精选理由

介绍一种无需额外主模型推理的自校正流匹配方法,提升图像与视频生成质量和物理一致性。

AI 摘要

流匹配模型通过迭代式速度预测生成样本,但通常不会利用产生这些预测的中间表征对其进行重新审视。我们提出 CorrFlow,这是一种自校正流匹配框架,通过轻量级修正器复用这些信息。在 rectified-flow 插值下,单步干净预测的误差等于实际速度残差乘以噪声水平。受这一恒等式启发,修正器根据基础模型在同一次前向传播中得到的干净预测、条件、噪声水平和隐藏状态,学习预测残差修正量。在每次采样更新之前,将该修正量加到基础速度上,使后续预测基于校正后的状态进行。该方法无需额外调用基础模型,每步仅需调用一次轻量级修正器。我们的理论分析建立了相应条件:在这些条件下,特征复用优于基于原始输入的仿射预测器;在匹配的训练计算预算下,训练修正器相比继续训练基础模型能够实现更大的残差风险降低。在类条件图像生成、文本到视频生成和图像到视频生成任务上的实验表明,与相应的基础模型相比,该方法 consistently 带来改进,包括视觉质量和物理一致性方面的提升。项目主页:https://fogradio.github.io/corrflow-project

查看原文(arXiv cs.AI)