持续机器遗忘中的可塑性坍塌

机器遗忘使深度神经网络能够根据隐私和法规要求，有选择地移除特定数据的影响。尽管以往工作主要研究一次性遗忘，但真实世界系统必须支持持续遗忘，即多个遗忘请求随时间依次发生。在这项工作中，我们识别出该设置中的一个根本性局限：可塑性坍塌，即模型有效遗忘能力逐步崩解。通过对持续遗忘动态的理论分析，我们表明，持续遗忘操作会在参数空间中累积几何约束，导致饱和子空间，从而限制未来更新。这种结构性效应会引发两种不同的失效模式：（1）前向失效——后续任务的遗忘质量逐渐下降；（2）后向失效——先前已遗忘信息被自发重新记忆。我们在图像分类中的多种架构、数据集和方法上进行了大量实验，结果证实可塑性坍塌并非特定实现的偶然产物，而是持续遗忘中普遍存在的现象。我们的发现揭示了机器遗忘系统长期可靠性的一个关键障碍，并促使人们开发能够保持可塑性的遗忘算法。我们的代码见 https://github.com/TIML-Group/Continual-Machine-Unlearning-Plasticity-Collapse