FairMean:在标签投毒攻击下促进分布式学习的公平性
FairMean: Promoting Fairness in Distributed Learning under Label Poisoning Attacks
精选理由
兼顾公平与鲁棒性,降低分布式学习中的客户端性能差异及标签投毒影响。
AI 摘要
公平性感知的分布式学习会优先考虑损失较大的客户端,以减小性能差异;但标签投毒可能导致较大的损失,从而引发公平性与鲁棒性之间的冲突。我们提出 FairMean 来应对这一冲突。FairMean 使用局部损失的有界非递减函数对客户端梯度进行加权。递增的权重优先考虑高损失客户端,以促进公平性;而上界则防止因损失过大而过度放大投毒客户端的梯度。在不存在标签投毒的情况下,我们证明,与最小化标准平均损失目标相比,最小化 FairMean 目标更有利于实现解的公平性。在存在标签投毒时,我们建立了一个平均平稳性界,其中与攻击相关的项与投毒客户端比例的平方成正比。实验表明,FairMean 在提升最差客户端准确率的同时,通过降低准确率方差促进了公平性。