超越样本复制：扩散模型中的结构化记忆

arXiv:2603.13419v3 公告类型：替换 摘要：扩散模型在实践中具有良好的泛化能力。矛盾的是，一个最优的扩散模型会完全记忆训练数据，因此无法实现泛化，这引出了一个问题：实际的扩散模型是如何产生泛化能力的？我们表明，扩散模型会逐步过拟合去噪训练目标，从而在中间噪声水平下造成验证性能与训练性能之间的泛化差距。在一个具有受控去噪误差、完全可解析的二维玩具模型中，我们将这一差距追溯到模型误差与数据分布支撑集密度之间的相互作用。最优去噪流场会高度局部化于各个训练点附近，而模型误差会抑制对训练点的精确回忆，从而产生平滑且具有泛化能力的流场。最后，我们考察了训练期间的过拟合如何沿推理轨迹显现。我们发现，从轨迹中间状态得到的预测，与从加噪训练图像和验证图像得到的预测，处于特征空间中截然不同的区域。随着训练推进和模型规模增大，这些预测对训练数据表现出更强的相对亲和性，尽管它们与验证数据的绝对相似度并未降低。综上，这些发现表明，去噪目标和推理轨迹以不同方式体现了结构化记忆。