以任务为中心的语言模型个性化联邦微调

arXiv:2604.00050v3 公告类型：替换 摘要：联邦学习（FL）已成为一种颇具前景的技术，可用于在分布式且私有的多任务数据集上训练语言模型。然而，对在异构任务上训练的模型进行聚合，往往会降低各个客户端的整体性能。为了解决这一问题，个性化联邦学习（pFL）旨在创建适应每个客户端数据分布的模型。尽管这些方法能够提升本地性能，但通常在两个方面缺乏鲁棒性：（i）泛化能力：当客户端必须对未见过的任务进行预测，或其数据分布发生变化时；（ii）客户端内任务干扰：当单个客户端的数据包含多个分布，并且这些分布可能在本地训练过程中相互干扰时。为应对这两个挑战，我们提出了 FedRouter，这是一种基于聚类的 pFL 方法，针对每个任务而非每个客户端构建专用模型。FedRouter 使用适配器，并通过两种聚类机制将适配器与特定任务关联起来，从而实现模型个性化。第一种是本地聚类，将适配器与任务数据样本相关联；第二种是全局聚类，将来自不同客户端的相似适配器相关联，以构建以任务为中心的个性化模型。此外，我们提出了一种评估路由器机制，根据所构建的聚类将测试样本路由至最佳适配器。在多任务数据集上将我们的方法与现有方法进行比较的实验表明，FedRouter 在这些具有挑战性的场景中表现出很强的韧性：在任务干扰条件下相对性能最高提升 6.1%，在泛化评估中相对提升最高达 136%。