分布内与分布外机器遗忘的效用与复杂度
The Utility and Complexity of in- and out-of-Distribution Machine Unlearning
精选理由
论文揭示分布内外机器遗忘的效用与复杂度权衡，并提出可认证的高效遗忘方法，为隐私保护和模型更新提供理论依据。
AI 摘要
arXiv:2412.09119v4 公告类型：替换 摘要：机器遗忘是从已训练模型中选择性移除数据的过程，对于解决模型部署后的隐私问题和知识缺口日益重要。尽管如此，现有方法往往依赖启发式设计，缺乏形式化保证。本文分析了近似遗忘在效用、时间复杂度和空间复杂度之间的基本权衡，并提供了类似于差分隐私的严格保证。对于分布内待遗忘数据，即与保留集相似的数据，我们证明，一种出人意料地简单且通用的方法——带输出扰动的经验风险最小化——能够实现紧致的遗忘、效用与复杂度权衡，弥补了此前关于其与通过差分隐私实现“免费”遗忘之间差异的理论空白；差分隐私本身就有助于移除此类数据。然而，这些技术对分布外待遗忘数据，即与保留集显著不同的数据，并不奏效：即使只遗忘一个样本，其时间复杂度也可能超过重新训练。为此，我们提出了一种新的鲁棒含噪梯度下降变体，并证明它能够在不损害效用的前提下摊销遗忘的时间复杂度。