arXiv cs.LG精选74

解耦总方差与信噪比可改进扩散模型

Disentangling Total-Variance and Signal-to-Noise-Ratio Improves Diffusion Models

· 2天前

精选理由

解耦总方差与信噪比,简化噪声调度设计,提升扩散模型采样效率与生成质量。

AI 摘要

arXiv:2502.08598v3 公告类型:替换 摘要:扩散模型作为一种强大的生成框架,已在众多科学领域得到广泛应用,但其固有的迭代采样过程仍是一个重大的计算瓶颈。虽然通常可以通过减少反向扩散步数来缓解这一问题,但样本质量会变得对所选的噪声调度高度敏感,即对每一步引入噪声和减弱信号的方式高度敏感。尽管已有研究改进了最初的方差保持和方差爆炸调度,但这些方法只是被动地调整总方差,无法对其进行直接且独立的控制。在本研究中,我们提出了一种新颖的总方差/信噪比解耦(TV/SNR)框架,使 TV 和 SNR 能够得到独立控制。我们的方法揭示,对于 TV 呈指数爆炸式增长的调度,在保留其底层 SNR 调度的同时采用恒定 TV 调度,可带来一致的改进。此外,我们证明,推广最优传输流匹配的 SNR 调度能够显著提高生成效率。关键在于,这些增益在不同的反向扩散求解器中均保持一致,并将搜索空间缩减为两个独立且可解释的参数,从而为分子结构生成等复杂科学应用实现快速且稳健的采样。

查看原文(arXiv cs.LG)