DISCERN：用于无需保留集的增量机器遗忘的分布式合成回放

arXiv:2611.07892v1 公告类型：新提交 摘要：机器遗忘旨在从已训练的模型中移除特定训练数据的影响，而无需从头重新训练。然而，在实际部署中，删除请求会随时间陆续到来，因此需要增量类别遗忘（ICU）：按顺序移除类别，确保先前遗忘的知识不再恢复，同时保留其余类别。我们提出 DISCERN（用于无需保留集的增量遗忘的分布式合成回放），这是一种基于干预的类别遗忘方法，通过从各类别的参数化分布中采样合成嵌入，替代对保留集的访问。基于原型的回放假设每个类别的质心周围服从各向同性高斯分布；与之不同，DISCERN 为每个类别拟合欧氏分布族（高斯分布、拉普拉斯分布、Student's $t$ 分布）和方向分布族（von Mises--Fisher 分布、Fisher--Bingham 分布），并通过统计检验进行选择；当所有候选分布均未通过检验时，则依据交叉验证对数似然进行选择。这一设计源于依赖于架构的潜在空间几何结构：与卷积网络的嵌入不同，transformer 嵌入近似位于超球面上，并集中在各类别对应的方向附近。我们在 MNIST、CIFAR-10 和 CIFAR-100 上，使用两个卷积骨干网络和两个 transformer 骨干网络，在单类别、多类别及增量遗忘设置下，将 DISCERN 与七种无需保留集的基线方法进行比较。一次性移除多个类别时，DISCERN 具有竞争力；在基于 transformer 的 ICU 中，它是最稳定的方法：在 ViT-B/16 上，经过 20 次顺序删除后，其调和平均值仍保持在 $0.797$，而同时删除设置下表现最强的方法则从 $0.918$ 降至 $0.048$。配对消融实验表明，按类别选择分布能显著减少先前遗忘类别的重新出现，其作用是稳定累积遗忘，而非在所有情况下均带来提升。