扩散中的特征信息动力学

arXiv:2610.08626v1 公告类型：交叉收录 摘要：扩散模型通过一系列连续的去噪问题生成数据，人们普遍观察到，这些模型会先呈现粗粒度结构，再呈现精细细节。然而，这一直觉主要基于经验和定性观察。我们提出特征信息动力学，这是一种用于定位扩散过程中某个特征何时生成的信息论框架。利用 I-MMSE 恒等式，我们将特征互信息的变化率与最优无条件去噪损失和最优特征条件去噪损失之间的差值联系起来，从而得到实用的特征信息密度估计方法。我们进一步提出一种链式分解，将特征层级中的共享信息与增量信息分离。我们首先利用该框架定量证实像素扩散中的频谱自回归现象，随后将分析拓展到频率之外：在类别 $\to$ 掩码 $\to$ Canny 条件链下，像素、SDVAE、VAVAE 和 RAE 表示中的各特征信息密度呈现出差异，揭示了这些表示之间的根本区别，并表明有序生成可能有益于扩散模型的训练。我们的代码已公开，地址为 https://github.com/AI4Science-WestlakeU/feature-information-dynamics。