IDSISA：用于高效机器遗忘的影响力蒸馏分片训练

arXiv:2611.06519v1 公告类型：新投稿 摘要：机器遗忘通过消除特定训练样本的影响来遵守隐私法规。完全重新训练提供了强有力的保证，但在大规模场景下计算成本高昂，难以承受；近似方法效率较高，却缺乏形式化保证。SISA（分片、隔离、切片与聚合训练）通过数据分片和独立重新训练实现可认证删除，但随机划分会将遗忘请求分散到大多数分片中，而隔离式重新训练又会降低模型效用。我们提出 IDSISA（影响力蒸馏 SISA），利用影响函数将容易成为遗忘请求目标的样本集中到少量分片中，并通过从未受影响的分片进行蒸馏，恢复因隔离而损失的效用。从 SISA 重新训练步骤继承的删除保证仍然是精确的，无需任何概率性限定；基于蒸馏的效用恢复则是一种单独量化、具有经验界限的近似（期望意义下 $\epsilon_{\text{cert}} \leq 0.015$）。我们进一步对重复删除请求序列下的认证进行了形式化描述，在这种情况下，跨分片蒸馏可能在分片之间产生依赖关系；我们证明，基于闭包的级联重新训练流程能够在任意删除序列下，恢复对完整聚合模型的删除保证。在 ResNet-18/CIFAR-10、ResNet-18/CIFAR-100、BiLSTM/IMDB、TCN/IMDB 以及 Fashion-MNIST 上的全连接网络上开展的实验表明，相较于 SISA，选择性遗忘效果提升了 $14-91\%$，效用保持能力的相对提升最高达 $50\%$（在无法定义相对基线的其他架构上，也均取得了百分点提升），而遗忘耗时的变化因架构而异，范围为 $-6.7\%$ 至 $+6.4\%$。