面向大语言模型的可审计机器遗忘

机器遗忘旨在收到删除请求后，从已训练的模型中移除用户的数据。现有方法主要从三个维度进行评估——遗忘效果、能力保留程度以及对成员推断攻击的鲁棒性，却未评估提供方能否向用户提供任何证据，证明删除确已发生。为填补这一空白，我们引入可审计性作为第四个维度，将其定义为在提供方计算的某项统计量下，请求删除的数据（遗忘集）与保留的数据（保留集）之间的分离程度。我们在 TOFU、MUSE 和 RWKU 上对十一种机器遗忘方法的评估表明，没有任何方法能够同时满足全部四个维度的要求，且不同方法在不同维度上存在不足。为此，我们提出了一种可叠加于任意机器遗忘方法之上的两阶段方法。第一阶段，我们提出 ${GapWiden}$，利用合页损失增大遗忘集与保留集的审计统计量之间的差异。第二阶段，我们提出 ${GapVeil}$，这是一种推理时拒绝采样器，以基础模型生成候选回复，并根据候选回复的审计统计量进行重新采样。我们观察到，使用我们的方法后，所有机器遗忘方法的可审计性和泄露程度均达到理想基准水平，遗忘性能也趋近于理想基准；十一种方法中有九种的保留性能得到提升，但仍未达到理想基准水平。我们的结果表明，删除证据或可审计性可以通过设计来构建，而将其视为一项明确要求，会改变对现有机器遗忘方法可行性的判断。