LiBRA:用于联邦学习中拜占庭鲁棒客户端选择的 Logit 指纹
LiBRA: Logit Fingerprints for Byzantine-Robust Client Selection in Federated Learning
精选理由
提出基于模型输出指纹的拜占庭鲁棒客户端筛选,兼顾隐私、异构架构与比较效率。
AI 摘要
arXiv:2610.27357v1 公告类型:new 摘要:拜占庭鲁棒聚合能够保护联邦学习免受恶意更新的影响,但用于过滤可疑更新的规则会通过比较客户端的参数向量来完成。这种比较需要访问每个客户端的更新,而安全聚合的目的正是隐匿这些更新;同时,在参数维度为 $d$ 时,其计算开销为 $O(n^2 d)$,并且仅适用于使用相同架构的客户端之间。我们提出 LiBRA,通过比较客户端模型所执行的计算结果,而不是产生这些结果的参数,来比较客户端。具体而言,我们使用一个包含 $C^2$ 个值的指纹,其中 $C$ 为类别数;这些值表示每个客户端模型对针对该模型优化的伪模式所产生的类别条件 Logit 响应。我们将 LiBRA 实例化为 Krum、Multi-Krum 和 Bulyan 的变体,这些变体唯一改变的是计算不相似度分数所依据的对象。在 Fashion-MNIST 和 CIFAR-10 上,针对三种架构以及四种后门攻击和标签操纵攻击,并采用 i.i.d. 划分时,每个变体都能抵御其对应方法所能抵御的所有攻击;在后门攻击下,当客户端更新相同时,指纹对恶意客户端的排序与完整参数向量相比的 AUC 差异不超过 0.006。因此,这些变体具备与其扩展规则相当的鲁棒性,同时其信任决策无需读取任何客户端参数,比较的值最多减少 49,090 倍,并且从机制上能够比较架构不同的客户端;代价是每轮需为每个客户端进行一次模式优化。