已被抹除，却未消失：输出遗忘并非真正遗忘

arXiv:2606.25001v2 公告类型：替换 摘要：机器遗忘（MU）通常通过输出遗忘来评判，例如遗忘集上的低准确率或成员推断能力的降低。然而，如果输出层面的成功可以与表征空间中不符合重新训练结果的残留同时存在，那么当前评估究竟在验证哪一种遗忘？我们通过与重新训练一致的表征遗忘来研究这一问题，将一组重新训练的模型（即不使用待遗忘数据、从头训练的模型）作为理想遗忘的可操作参考分布。针对多种遗忘方法、数据集和模型，我们的理论分析与实证结果表明，标准的输出层面评估可能系统性地高估机器遗忘的成功程度。在这一更严格的视角下，当前方法往往在输出层看似已完成遗忘，但相对于重新训练仍呈现结构性失配。它们在待遗忘样本上与重新训练部分对齐，在保留样本上则表现出更强的不一致性，并且往往留下沿重新训练相关方向局部分布的残余差异，而非弥散于整个表征空间。这种结构性失配的特征包括遗忘与保留之间的不对称性、方向性失配，以及沿重新训练相关方向集中的残留。在许多情况下，这些差异超出了独立重新训练的变异范围，并带来在重新学习攻击中恢复信息的风险。总体而言，结果表明，当前对 MU 的评估往往针对的是表面遗忘，而非与重新训练一致的遗忘。更广泛地说，重新训练揭示了输出遗忘所掩盖的内容。