损失曲率：扩散模型中记忆现象的免采样代理指标

arXiv:2610.19042v1 公告类型：新论文 摘要：理解扩散模型为何会记忆其训练数据的机制，仍是生成建模中的一个开放问题。本文从两个视角考察这一问题：(a) 模型层面，关注模型在训练过程中何时开始出现记忆现象；(b) 样本层面，关注单个样本被给定模型记忆的倾向。我们表明，所谓的输入损失曲率，即扩散模型训练损失的 Hessian 矩阵的 Frobenius 范数，是从这两个视角量化记忆现象的有效指标。具体而言，我们通过实证证明，在训练过程中持续跟踪训练样本和验证样本上的平均输入曲率，可以识别模型何时可能开始复现其训练数据。然而，该指标不足以衡量单个样本被记忆的可能性。为从样本层面解决这一问题，我们引入了扩散模型中记忆现象的反事实定义，扩展了 [Feldman, 2019] 在监督学习中提出的类似概念。我们证明，这种反事实记忆受到留一法模型的输入曲率的约束，从而在样本的局部损失景观与其生成可能性之间建立了直接的理论联系。我们通过多项实证实验验证了所推导的界，并表明依赖于输入的曲率可以作为记忆现象的代理指标。