arXiv cs.LG精选78

扩散模型的几何感知离散化误差

Geometry-Aware Discretization Error of Diffusion Models

· 6天前

精选理由

揭示扩散模型离散误差与数据几何的关系,为有限步采样优化噪声日程和参数提供理论依据。

AI 摘要

arXiv:2605.08392v2 公告类型:替换 摘要:实际的扩散采样需要用有限的去噪步数模拟反向时间 ODE 或 SDE,因此采样参数的选择对于最小化离散化误差至关重要。非渐近收敛界刻画了采样复杂度,但其中的最坏情况常数可能掩盖目标分布的几何结构,从而限制其对参数优化的指导作用。我们不再对误差给出界,而是针对一般的光滑反向扩散过程,推导出 Euler-Maruyama 弱误差和 Frechet 误差在小步长下渐近精确的展开式,并给出高斯数据情形下的显式公式。这些公式提供了易于处理的目标函数,可根据目标分布的协方差谱优化扩散参数,包括噪声调度、重缩放调度和随机性系数。具体而言,我们的理论预测,在步数预算较少时,最优随机性更低;展示了如何根据数据的功率谱调整重缩放系数;并启发了一族新的有效噪声调度。向高斯尺度混合分布(GSMs)的微扰扩展量化了偏离高斯性时最优参数的变化。最后,在不同真实图像数据集上的实验表明,使 FID 最优的参数与理论的定性预测一致。

查看原文(arXiv cs.LG)