通过对比轨迹排斥实现更平滑的 Flow Matching

arXiv:2610.01408v1 公告类型：cross 摘要：轨迹交叉仍然是 Flow Matching（FM）中的关键瓶颈，而以往工作通常从理论优化的角度看待这些交叉，认为其会导致速度平均化。它们尝试通过事后蒸馏或端点耦合间接解决这一问题，却没有显式调控中间轨迹。在本文中，我们提出了一种新的网络学习视角：交叉点会在目标速度场中固有地产生较大的局部 Lipschitz 常数，从而带来两个问题。首先，较高的 Lipschitz 常数对应于速度场中的高频信号，而由于谱偏置，神经网络难以拟合这类信号。其次，这也意味着速度会发生剧烈变化，导致少步推理中的数值积分误差严重。为缓解这一问题，我们提出 CoFlow，这是一种将对比学习范式引入 FM 的框架，在训练过程中显式排斥轨迹，从而降低速度场的局部 Lipschitz 常数。具体而言，我们从随机微分方程（SDE）的角度构建 CoFlow，通过注入排斥漂移项，使正样本的前向过程主动远离负轨迹，从而有效降低局部 Lipschitz 常数。此外，我们还从该 SDE 推导出一种等价的随机插值形式，为控制负样本的影响提供了简单且易于处理的设计空间。在 ImageNet 256x256 上进行的大量实验表明，在少步推理（例如 20 步）中，CoFlow 相较于标准 FM 能显著降低 FID，且不会增加训练开销。代码可访问：https://github.com/HKUST-LongGroup/CoFlow