arXiv cs.LG精选80

迭代一致性模型:稳定性、误差界与噪声调度

Iterating Consistency Models: Stability, Error Bounds and Noise Schedules

· 9天前

精选理由

为多步一致性模型提供收敛误差界与噪声调度设计依据,助力稳定提升采样质量。

AI 摘要

arXiv:2610.03414v1 公告类型:cross 摘要:一致性模型(CM)已成为通过少量步骤生成高质量样本的主流方法。然而,增加步骤数可能改善或降低样本质量,其影响高度依赖于调度方案,而现有理论尚未对此作出充分解释。为提供精度保证并指导 CM 采样器的设计,我们将多步 CM 采样分析为加噪算子与近似去噪算子的复合。在明确且可验证的稳定性假设下,我们推导出一个非渐近误差界,将初始化误差的收缩与近似误差的累积区分开来。该误差界揭示了调度方案的不同作用:较大的早期噪声水平推动误差收缩,而较小的后期噪声水平控制残余偏差。作为推论,我们针对强对数凹目标分布和半对数凹目标分布得到了显式常数。我们进一步建立了一项互补保证,其假设、单步精度和稳定性均可针对给定的训练模型进行估计。实验表明,纳入误差界的收缩特征和近似特征可以被可靠地测量,并且与预测的函数形式高度吻合。总体而言,这些结果为多步 CM 提供了有意义的收敛理论,也为采样器设计提供了切实可行的路径。

查看原文(arXiv cs.LG)