Wasserstein梯度流和仅正向扩散不足以实现多模态采样
Wasserstein Gradient Flows and Forward-Only Diffusion Are Not Enough for Multimodal Sampling
精选理由
揭示WGF与前向扩散多峰采样的指数级混合瓶颈,指明非局部机制的改进方向。
AI 摘要
arXiv:2610.02081v1 公告类型:cross 摘要:近年来,基于Wasserstein梯度流(WGF)和仅正向扩散过程(FODP)的采样算法大量涌现,并且通常伴随着关于以指数速度收敛到目标分布的理论保证。这些保证经常被解读为此类方法能够高效采样复杂多模态分布的证据,并且往往得到经验结果的支持。在本文中,我们论证这种解读从根本上具有误导性。借助Jordan-Kinderlehrer-Otto(JKO)方案和Otto calculus,我们证明,典型的WGF采样动力学与过阻尼正向扩散具有相同的密度演化,因此继承了非平衡统计物理中早已得到充分认识的亚稳态和慢混合现象。我们使用两种互补工具——谱分析和平均首次通过时间(MFPT)分析——研究这一类采样器,并表明,模式之间的良好分离可能导致指数级增长的混合时间,这与较小的谱隙和罕见的模式间跃迁有关。对于本文研究的常用对数线性退火调度,我们发现,引入中间分布并不能消除总输运时间的指数级增长。这一局限是结构性的,而非特定于实现方式:纯粹的局部、梯度驱动输运机制,可能需要指数级长的时间才能在彼此分离良好的模式之间输运概率质量。我们认为,这代表了WGF和FODP采样标准形式的一项根本性局限,并促使未来开发从根本上具有非局部性的机制,以实现高效的多模态采样。