arXiv cs.LG精选80

通过 Fisher 几何理解潜在空间可扩散性

Understanding Latent Diffusability via Fisher Geometry

· 11天前

精选理由

从Fisher几何揭示潜空间扩散退化机制,为优化编码器与生成质量提供理论依据。

AI 摘要

arXiv:2604.02751v3 公告类型:替换 摘要:扩散模型在潜在空间中往往会出现性能下降,但其理论原因仍缺乏充分理解。我们通过刻画扩散轨迹上最小均方误差(Minimum Mean Squared Error,MMSE)的变化率,量化潜在空间的可扩散性。我们的框架将 MMSE 变化率分解为 Fisher 信息(Fisher Information,FI)和 Fisher 信息率(Fisher Information Rate,FIR)的贡献。我们证明,等距嵌入能够保持内在 FI,并针对更广泛的一类具有受控弱体积畸变的双 Lipschitz 编码器,建立定量的内在 FI 界;而 FIR 则由编码器几何与数据几何之间的相互作用所决定。我们的分析在高斯平滑 FIR 的局部稳定性界中区分出四种几何贡献:维度压缩、切向畸变、高频编码器曲率以及数据流形曲率。在多种自编码架构上的实验为理论所揭示的几何机制提供了定性支持,并表明在所测试的设置中,经验 FI 和 FIR 能够反映生成质量与潜在空间几何的若干度量。我们建立了 FI 和 FIR 这一套用于理解潜在空间可扩散性的综合分析框架。

查看原文(arXiv cs.LG)