扩散模型中的特征选择性模型坍塌：完全替换与固定预算训练
Feature Selective Model Collapse in Diffusion Models: Total Replacement versus Fixed-Budget Training
精选理由
揭示扩散模型不同数据预算下的特征坍缩差异，为训练策略与稳定性设计提供依据
AI 摘要
arXiv:2610.01318v1 公告类型：新提交 摘要：当生成模型基于早期模型生成的合成数据进行训练时，就会出现模型坍塌现象。由于其对社会和技术层面的影响，这一现象受到了广泛关注。然而，先前的研究得出了看似相互矛盾的结论：用合成数据替换真实数据会导致模型坍塌（Shumailov 等人），但将真实数据与合成数据一同累积则可以避免这一问题。对于扩散模型，我们研究了一种有限预算流水线中常见的中间情形：保留所有过去的数据集和真实数据，但每个新模型都从不断扩大的数据池中抽取固定大小的样本进行训练，因此真实数据所占比例会逐渐趋近于零，同时没有任何数据被移除。在二维螺旋数据集以及图像基准数据集（MNIST、Fashion-MNIST 和 CIFAR-10）上的实验表明，替换协议会像已有文献所述那样使数据集迅速退化，而固定预算协议只会造成部分退化，保留部分特征。通过随机递推分析的多代参数动力学线性响应模型进一步证实了这两种协议之间的差异：对于两种协议而言，一些特征较为脆弱，会在几代之内丢失；而另一些特征则较为稳健，在固定预算协议下能够在实际上无界的时间跨度内得到保留。