自适应子模型联邦学习中的容量混杂与覆盖保证

arXiv:2608.07157v2 公告类型：替换 摘要：子模型联邦学习允许资源受限的客户端训练全局模型的缩窄版本，但现有方法仅依据设备资源分配容量。近期方法开始利用源自训练的信号确定子模型规模，这启发了一个自然的下一步：根据从服务器已观测到的更新所估计的每个客户端数据异质性来分配容量。我们以自适应容量分配框架 HAS-FL 为案例，探究这一步是否可行。首先，在可复现的数据划分上，以标签分布散度的真实值为基准进行验证后发现，客户端异质性的更新散度估计主要受容量而非数据支配：在两个图像基准和每个随机种子下，这些估计都与设备容量呈强负相关；控制容量后，它们与数据异质性的关联接近于零或为负。任何从子模型更新中估计客户端统计量的方法，都会受到这一此前未被记录的混杂因素影响。其次，自适应分配存在一种隐藏的失效模式：当每个客户端的容量上限都低于完整宽度时，未被覆盖的参数会停留在随机初始化状态，并逐步破坏全局模型。一个简单的覆盖保证即可消除该失效，也解释了均匀分配为何会崩溃。第三，通过预算匹配的对照实验可以确定自适应策略的实际贡献：在两个图像基准上，将相同平均预算随机分配所得的结果与自适应策略相当，差异处于不同随机种子之间的波动范围内；而在自然划分的文本基准上，自适应策略是三种策略中最弱的，同时消耗的容量最多。子模型训练能够以按平方级降低的成本接纳受限客户端，但与全模型训练相比会牺牲相当大的准确率；真正保护这种准确率的是参数覆盖，而不是分配策略的智能程度。