用于加速联邦学习的潜在信息共享
Latent Information Sharing for Accelerating Federated Learning
精选理由
通过共享少量隐藏层激活，缓解联邦学习客户端漂移，提升训练效率与精度并兼顾隐私。
AI 摘要
arXiv:2610.01126v1 公告类型：新摘要：联邦学习（FL）是一种通信高效的分布式学习范式。然而，客户端漂移仍是最关键的挑战之一，阻碍了全局模型的高效训练。在本研究中，我们提出了一种新颖的潜在信息共享方案，可直接缓解客户端之间的数据异质性。理论和实证结果表明，共享少量隐藏层激活值能够在保持收敛保证和数据隐私的同时，显著提高训练效率。此外，我们将该方法与旨在解决客户端漂移问题的现有联邦学习方法进行了比较，包括 FedProx、SCAFFOLD、FedPVR、FedProto 和 SplitFed，并证明在固定通信轮数预算下，该方法能够取得更高的模型准确率，且不会带来过高的通信开销。总体而言，本研究提出了一种有前景的新型知识聚合方案，并全面分析了激活值共享对联邦优化的影响。