扩散模型中的特征选择性模型崩溃：完全替换与固定预算训练

当生成模型使用早期模型生成的合成数据进行训练时，就会出现模型崩溃现象。由于其对社会和技术的影响，这一现象引起了广泛关注。然而，先前的研究得出了看似矛盾的结论：用合成数据替换真实数据会导致模型崩溃（Shumailov 等）；但将真实数据与合成数据一同累积则可以避免模型崩溃。对于扩散模型，我们研究了一种有限预算流程中常见的中间情形：保留所有过去的数据集和真实数据，但每个新模型都从这个不断扩大的数据池中抽取固定大小的样本进行训练，因此真实数据所占比例会逐渐趋近于零，同时没有任何数据被移除。在二维螺旋数据集以及图像基准数据集（MNIST、Fashion-MNIST 和 CIFAR-10）上的实验表明，替换方案会像相关文献中所述那样使数据集迅速退化，而固定预算方案只会造成部分退化，保留某些特征。对多代参数动态进行线性响应建模，并通过随机递推进行分析后，我们确认这两种方案存在差异：对于两种方案而言，一些特征较为脆弱，会在几代之内丢失；而另一些特征则较为稳健，在固定预算方案下能够在实际上无界的时间范围内得到保留。