arXiv cs.LG精选78

通过路径-流对齐实现路径与流的协同演化

Co-Evolving Paths and Flows via Path-Flow Alignment

· 7天前

精选理由

提出路径与流场联合训练及随机正则化,缓解中间分布瓶颈,在不改变推理流程的情况下提升图像生成质量。

AI 摘要

arXiv:2610.08717v1 公告类型:交叉收录 摘要:我们研究将路径-流对齐作为流匹配的统一训练目标。不同于固定插值路径、仅学习速度场的做法,我们使用同一个对齐损失,联合训练一个保持端点不变的路径网络和一个流网络:流学习匹配路径速度,而路径学习使其速度与当前流对齐。尽管每条固定的已学习路径都定义了一个有效的流匹配目标,但仅靠对齐损失并不能可靠地指导路径学习。我们发现了路径过拟合这一失效模式,即对齐损失下降的同时,样本质量反而恶化。我们发现,这种失效与所诱导的概率路径中的低熵瓶颈有关:学习到的路径使样本经过过度集中的中间边缘分布。基于这一诊断,我们提出了一种随机路径正则化方法,在精确保留端点的同时,对路径网络隐藏部分源信息。这种正则化为随机训练路径的边缘分布提供了显式的熵下界,并在实验中抑制了所学习采样器中的瓶颈,使路径与流的联合训练切实有效。在 ImageNet-256x256 上,使用 SiT 骨干网络时,我们的方法在不同模型规模下均能持续改善 FID,也可扩展至模型引导训练,且无需改变推理时的架构和采样器。代码可在 https://github.com/lizeyu090312/traj_opt_paper 获取。

查看原文(arXiv cs.LG)