具有保证的局部惩罚交叉估计联邦方法，用于受约束的个性化学习

arXiv:2603.19617v2 公告类型：替换 摘要：联邦学习（FL）是一种通信高效的框架，用于解决分布式优化问题。标准的 FL 方法将各参与方的本地更新聚合为一个由所有参与方共享的单一全局模型，实际上施加了共识约束。然而，在本地约束具有异质性的情况下，共同的可行模型可能限制过强，甚至可能不存在。现有的受约束 FL 方法大多保留这种共享模型结构，因此无法直接应对参与方特定可行集具有异质性的个性化问题。我们研究一种受约束的个性化 FL 问题：为每个参与方分配一个独立的可行模型，同时通过协作目标函数将这些模型耦合起来。我们提出局部惩罚交叉估计联邦平均方法（PCE-FedAvg）：每个参与方维护一个多块向量，其中包含自身模型以及对其他参与方模型的估计，同时仅对属于自身的模型块在本地施加可行性惩罚。服务器分别聚合对应的模型块，从而在不要求参与方明确披露其本地约束集的情况下保留个性化特性。对于任意 $\epsilon>0$，我们建立了有限时间的次优性上界和下界，以及逐参与方的平方不可行性界，从而分别得到 $\mathcal{O}(\epsilon^{-2})$ 和 $\mathcal{O}(\epsilon^{-1})$ 的通信复杂度。在 MNIST 和 CIFAR-10 上的实验支持了我们的理论结果。