并非所有保留客户端都同等重要:联邦遗忘中的客户端选择
Not All Retained Clients Are Equal: Client Selection for Federated Unlearning
精选理由
提出基于训练轨迹的客户端筛选方法,以更低通信与计算成本实现高效联邦遗忘。
AI 摘要
arXiv:2610.31786v1 公告类型:新 摘要:联邦遗忘(FU)旨在从已训练模型中移除指定目标客户端的影响,同时避免从头开始重新训练所带来的高昂成本。现有方法大多将遗忘视为一种事后、无状态的操作,忽视了客户端影响具有路径依赖性:训练期间产生的贡献,尤其是在关键学习阶段(CLP)产生的贡献,可能具有不成比例且持久的影响。此外,知识重叠以及客户端间歇性在线,使得依赖所有保留客户端既低效又不切实际。我们提出 PDF,一种基于如下洞见的路径依赖客户端选择框架:保留客户端对于遗忘的价值并不相同。在训练期间,PDF维护轻量级、与目标无关且按CLP加权的历史记录,用于总结每个客户端累积的更新方向及其与全局模型的一致性。在收到遗忘请求后,这些历史记录能够识别并排序那些具有全局信息价值、但与目标客户端耦合较弱的保留客户端,从而仅使用排名前 $k$ 的客户端,在少量轮次内实现基于重新训练的遗忘。在IID和非IID设置下对FMNIST、CIFAR-10和CIFAR-100进行的实验表明,PDF仅需数量大幅减少的保留客户端,即可实现有效遗忘并保持较高的保留效用。具体而言,在非IID CIFAR-10上,PDF实现了 $0\%$ 的遗忘准确率,同时具有类似重新训练的MIA AUC;在CIFAR-100上,相比最强的竞争性FU基线,保留准确率最高提升6.91个百分点;相较于Retrain,通信量约减少 $69\%$,计算量减少 $57$--$61\%$。