通过概念推断与数据投毒实现的复杂数据类别机器遗忘

arXiv:2405.15662v2 发布类型：替换 摘要：机器遗忘旨在无需完整重新训练，即可从已训练模型中移除指定训练数据或知识的影响。对于现代图像分类器和大型语言模型（LLMs）而言，这一能力尤为重要，因为重新训练的计算成本可能十分高昂。然而，复杂数据上的机器遗忘仍然十分困难，因为目标信息通常分布在多个语义元素之中。现有方法主要通过移除样本、修改标签或编辑模型参数来减弱遗忘目标的影响。这些方法通常不会明确识别出哪些语义概念将遗忘目标与模型的预测结果或生成响应联系起来。因此，很难确定应修改哪些信息。这种不确定性可能导致目标信息残留，或不必要地影响本应保留的知识。为弥补这一空缺，我们提出了一种概念引导的数据投毒遗忘框架，能够明确识别出对目标类别或知识贡献最大的概念，并利用这些概念指导模型更新。对于图像分类，我们的方法首先通过 Post-hoc Concept Bottleneck Model 识别与类别相关的概念，定位表达这些概念的图像区域，并构造基于替换的投毒样本。对于 LLMs，我们通过多个问题引出目标知识，汇总所得响应中的 Integrated Gradients，以识别持续重要的内容，并对这些内容进行掩码处理，从而构造投毒训练目标。在多个数据集上的实验表明，所提出的框架能够在不同任务中实现有效的机器遗忘，同时在很大程度上保留模型在保留内容上的实用性。