arXiv cs.LG精选72

多带宽 Distribution Matching Distillation:论 Distribution Matching Distillation 与 Drifting Models 的等价性

Multi-Bandwidth Distribution Matching Distillation: On the Equivalence of Distribution Matching Distillation and Drifting Models

· 5天前

精选理由

新颖度 82 / 深度 78,来自 arXiv cs.LG。

AI 摘要

arXiv:2610.10989v1 公告类型:new 摘要:研究人员一直在持续探索有效的一步生成模型,而 Drifting Models(Deng et al., 2026)近期展现出了一步生成的巨大潜力。已有研究揭示了 Diffusion & Flow Style Generative Models(DFSGMs)(Ho et al., 2020;Song et al., 2020a;b;Lipman et al., 2022;Liu et al., 2022)与 Drifting Models(Li & Zhu, 2026;Lai et al., 2026;Turan et al., 2026)之间的联系。然而,据我们所知,尽管二者的优化目标公式几乎完全相同,尚无人在 Drifting Model 与广泛使用的蒸馏方法 Distribution Matching Distillation(DMD/DMD2)(Yin et al., 2024b;a)之间建立精确的对应关系。在本文中,我们证明,通过将预训练 DFSGMs 中的速度场/噪声场转换为 Drifting Models 中的吸引力场,并从生成分布中估计排斥力场,训练 Drifting Model 在本质上等价于 Distribution Matching Distillation。基于这一等价概念,我们从 Drifting Model 的视角出发,提出了一种基于 DMD 的改进方法——Multi-Bandwidth Distribution Matching Distillation(MBDMD)。

查看原文(arXiv cs.LG)