Local Superior Soups：跨组织联邦学习的本地优越模型融合催化剂
Local Superior Soups: A Catalyst for Model Merging in Cross-Silo Federated Learning
精选理由
介绍模型插值训练方法，减少联邦学习通信轮次并提升预训练模型适应效果。
AI 摘要
arXiv:2410.23660v2 公告类型：替换 摘要：联邦学习（FL）是一种利用去中心化数据进行模型协同训练的学习范式。近年来，研究表明，在 FL 中使用预训练权重初始化能够有效提升模型性能。然而，当前预训练模型的复杂性不断增加，其参数量大幅增长，显著加剧了将这些模型适配到 FL 所需通信轮次方面的挑战。为了解决通信成本问题并提升预训练模型在 FL 中的适配性能，我们提出了一种创新的、基于模型插值的本地训练技术，称为“Local Superior Soups”。我们的方法通过正则化模型插值增强不同客户端上的本地训练，在较少通信轮次内推动模型探索一个连通的低损失盆地。该方法可作为预训练模型在 FL 中实现无缝适配的催化剂。我们在多个广泛使用的 FL 数据集上验证了其有效性和效率。我们的代码可在 https://github.com/ubc-tea/Local-Superior-Soups 获取。