遗忘算法学到了正确的特征吗？

arXiv:2611.06681v1 公告类型：新提交 摘要：机器遗忘通常采用标准的删除后指标进行评估，将遗忘后的模型与在剩余数据上重新训练的模型进行比较。这类快照式评估可能掩盖两个模型所编码特征之间具有重要影响的差异。我们证明，如果遗忘后的模型与重新训练的模型输出一致，但编码的特征不同，那么仅对它们的预测头执行一次梯度更新，就可能打破这种一致性。我们进一步表明，即使删除的数据比例任意小，也可能导致重新训练选择性质截然不同的特征，因此，要与重新训练的模型相匹配，可能需要学习完整模型从未具有的特征。随后，我们引入了一种特征恢复度量，用于区分缺失特征与多余特征。在对八种遗忘方法的研究中，标准指标表现良好的模型往往无法恢复重新训练的模型所具有的特征。这种不匹配能够预测模型在后续重新学习和下游适应过程中相对于重新训练模型的偏离，而直接纠正这种不匹配则能系统性地减少这些偏离。