将本地轮次视为最优停止:联邦学习中的理论与证据
Local Epochs as Optimal Stopping: Theory and Evidence in Federated Learning
精选理由
FedStop自适应决定本地训练轮数,降低客户端漂移并提升联邦学习弱势客户端精度。
AI 摘要
arXiv:2610.21832v1 公告类型:new 摘要:每个客户端在通信前应训练多久?联邦学习通常采用一个固定且经过手动调优的本地轮次数来回答这一问题,然而,只有当额外一轮训练所减少的损失超过其引入的客户端漂移时,这一轮训练才有益。我们将本地训练建模为有限时域最优停止问题:当下一轮训练的预期损失下降超过其定价后的平方漂移成本时,客户端继续训练。我们证明,只要停止决策具有嵌套性,这一单阶段前瞻阈值就是最优的;同时推导出几何型和幂律型收益的闭式表达,并表明,估计得到的规则仅会因符号判断错误而损失效用。按轮次进行的实验证据支持该模型的结构(几何递减收益与可加漂移),并揭示出一个简单规律:决定预算的是训练阶段,而非客户端。由此得到的规则 FedStop 在平均准确率上始终不会比调优后的 FedAvg 低超过一个百分点。在其预算存在差异的场景中,相比调优后的 FedAvg 和自适应间隔基线方法,它将最差十分位准确率提高了 4—8 个百分点;并且在进行 Holm 校正后,这些提升全部仍具有显著性。与客户端侧停止规则 ALT 和 FLASH 相比,在每个随机种子上,它都取得了最高的 CIFAR-10 最差十分位准确率,并且在其他指标上持平。在逐客户端提前停止失效的场景中,它仍能保持稳定,而且每次停止决策只需常数时间。