人口规模扩展还是数据稀释？去中心化学习中局部拓扑演化的动态

arXiv:2610.05476v2 公告类型：替换 摘要：去中心化学习的规模扩展改变的不仅是客户端数量 $N$，还包括信息传播与共识的动态。我们认为，增加 $N$ 的影响无法孤立地理解，因为数据分配、依赖拓扑的混合过程以及通信容量可能会同时发生变化。我们在 CIFAR-10 上研究了这些耦合效应，取 $N\in\{10,50,100,200\}$，比较了二度 Ring、Static Random 图以及 Local-First Heuristic Evolution (LFHE)——一种基于“朋友的朋友”发现机制的局部自适应拓扑过程。Ring 提供了一种在解析上清晰的失效模式：其 Metropolis 谱隙按 $\Theta(N^{-2})$ 衰减，这意味着随着群体规模扩大，模型分歧的收缩会逐渐变慢。实验表明，当保持名义上的本地数据集大小不变时，将固定总数据集划分给更多客户端所导致的表面上的规模惩罚会显著减小。剩余的性能下降高度依赖通信结构：Ring 会进入高分歧状态，而 Static Random 和 LFHE 则仍接近共识。进一步提高 LFHE 的度阈值可以改善准确率和共识程度，但模型传输成本也会大幅增加。这些结果表明，去中心化扩展由学习与通信的耦合动态所支配，而不仅仅取决于客户端数量。