TALLOP：面向时间约束联邦学习的本地训练与通信压缩联合优化

arXiv:2610.22996v1 公告类型：新 摘要：在联邦学习（FL）中，尽量缩短达到目标精度所需的实际时间至关重要，因为许多应用需要随着数据分布的变化频繁更新模型。然而，在异构环境中，计算和通信能力有限的慢速客户端可能会延迟全局同步，迫使快速客户端等待，从而增加整体训练时间。为缓解这种拖尾效应，近期研究引入了每轮时间约束，并在可用时间内调整客户端工作负载。不过，这些方法主要关注本地计算，而在通信受限环境中，通信可能成为主要瓶颈，因此有必要联合优化训练工作负载与通信压缩。尽管已有研究探索了这种联合优化，但在固定的每轮时间预算下确定有效的训练—通信平衡仍然具有挑战性，因为最终的模型性能取决于训练进展和压缩引起的性能下降。为此，我们提出 TALLOP，在每轮时间约束下联合优化本地训练工作负载与通信压缩。TALLOP 根据训练初期的小批量损失轨迹（LENS），预测不同计算预算下可达到的训练损失，并利用压缩误差模型（CLEN）估计通信压缩造成的性能下降。TALLOP 综合这些预测结果，选择在给定轮次时间约束下使压缩后损失最小的训练—通信分配方案。在异构联邦学习环境中的实验表明，与仅优化本地训练或两者均不优化的方法相比，TALLOP 通常能够取得具有竞争力或更优的达到目标精度时间，不过其相对于仅训练自适应方法的优势取决于具体设置。