FedMIX-P：用于联邦视觉与语言模型训练的本地与全局预条件器混合

arXiv:2610.01515v1 发布类型：new 摘要：自适应预条件器可以加速模型训练，但客户端几何结构的异质性可能使联邦更新产生偏差，即使梯度是在同一模型处计算的。仅在每轮开始时进行同步，并不能阻止这种失配在本地训练期间再次出现。我们提出 \texttt{FedMIX-P}，在每个本地步骤中混合共享预条件器与本地预条件器，在保留本地自适应能力的同时，将均方算子失配降低一个 $\lambda^2$ 因子。对于具有随机梯度的光滑非凸目标和部分参与场景，我们使用合适的步长与依赖训练时长的混合权重，建立了 $O(R^{-1/2})$ 的平稳性界，而无需本地预条件器彼此收敛。一个双客户端反例表明，固定的正混合权重可能保留一个非平稳不动点。该理论涵盖有界线性对称正定预条件器。在视觉与语言任务上对 SOAP、Sophia 和 Muon 变体进行的实验表明，相较于相应的本地优化器，模型性能有所提升；对于 60M--350M 语言模型，准确率最高提升 19.47 个百分点，验证损失也更低。完整的非线性更新和基于动量的更新需要单独分析。