面向异构边缘设备的混合阶联邦学习

受内存限制的边缘设备上的联邦学习（FL）面临两难困境：一阶（FO）优化（即反向传播）需要大量内存，而零阶（ZO）优化则会导致严重的收敛速度下降。为解决这一困境，我们提出了 HO-FL，这是一种混合阶 FL 框架，使用 ZO 优化训练模型的底部部分，使用 FO 优化训练模型的顶部部分。每台设备都可以根据自身的内存预算灵活选择阶数边界，同时参与同一个全局模型的训练。此外，我们的收敛性分析揭示了一种新的基本权衡：采用更大 FO 训练部分的客户端能够提供更准确的更新，但偏重这些客户端可能会导致其他客户端的数据代表性不足。我们将这一权衡与实际多步本地更新的偏差和方差联系起来，进而得到一个采样优化问题，以及一种结合直接模型平均的实用且感知维度的近似方法。在具有数据异质性的语言任务上，我们从任务性能、客户端内存和采样等方面进行了实验。结果表明，混合阶本地训练能够以显著更低的客户端内存需求，保留全 FO 训练的大部分性能。我们的代码可在 https://github.com/HKU-WILL-Lab/HO-FL 获取。