ERIS：通过联邦分片聚合改善联邦学习中的隐私、效用与可扩展性权衡
ERIS: Enhancing the Privacy-Utility-Scalability Trade-Off in Federated Learning via Federated Shard Aggregation
精选理由
ERIS通过分片聚合兼顾联邦学习的隐私、通信效率与模型效用，并在大模型任务中验证了其效果。
AI 摘要
arXiv:2602.08617v3 公告类型：替换 摘要：将联邦学习（FL）扩展至十亿参数规模的模型，迫使人们在隐私、可扩展性和模型效用之间进行艰难权衡。现有解决方案往往孤立地应对这些挑战，或牺牲准确性，或依赖成本高昂的密码学工具，或引入影响收敛的通信与优化低效问题。我们提出 ERIS，这是一个以联邦分片聚合（FSA）为核心的 FL 框架。FSA 是一种新机制，将每个客户端的更新划分为互不重叠的分片，并将其聚合工作分配给多个客户端侧聚合器。FSA 消除了中心聚合瓶颈，限制了任何单一观察者可见的信息，并在重新组装后保持与中心化 FL 相同的更新。ERIS 还可以便捷地集成分布式移位压缩（DSC），以减少传输载荷和暴露的坐标。我们证明，在标准假设下，ERIS 保持收敛性，且互信息泄漏的上界由每次更新中可观测部分的比例决定；该上界随客户端侧聚合器数量的增加而降低，在启用 DSC 时还会随压缩程度的提高而降低。在图像和文本任务（包括大语言模型）上的实验表明，ERIS 实现了与 FedAvg 相当的效用，同时显著缓解了通信瓶颈，并提高了对成员推断攻击和重建攻击的鲁棒性，且无需依赖繁重的密码学运算或降低效用的扰动。