扩散模型中的特征信息动力学

扩散模型通过一系列连续的去噪问题生成数据，人们广泛观察到其会先呈现粗粒度结构，再呈现细节。然而，这一直主要停留在经验性和定性层面。我们提出了特征信息动力学这一信息论框架，用于定位特征在扩散过程中何时生成。利用 I-MMSE 恒等式，我们将特征互信息变化率与最优无条件去噪损失和特征条件去噪损失之间的差距联系起来，从而得到特征信息密度的实用估计器。我们进一步发展了一种链式分解，将特征层级中的共享信息与增量信息区分开来。我们首先利用该框架定量验证了像素扩散中的频谱自回归，随后将分析扩展到频率之外：在 class $\to$ mask $\to$ Canny 条件链下，pixel、SDVAE、VAVAE 和 RAE 的逐特征信息密度存在差异，揭示了这些表示之间的根本区别，并表明有序生成可能有利于扩散模型的训练。我们的代码可在 https://github.com/AI4Science-WestlakeU/feature-information-dynamics 获取。