FedFit：通过向量库参数化与量化实现LLM的联邦微调

arXiv:2610.01537v1 公告类型：新 摘要：联邦学习（FL）能够在保护隐私的前提下对大型语言模型（LLM）进行微调，但巨大的通信开销仍然是一个关键瓶颈。此外，在FL中应用低秩适配（LoRA）面临着准确的乘积之和（SoP）实现与通信高效的和之积（PoS）实现之间的根本性“聚合困境”。为应对这些挑战，我们提出了FedFit。首先，为显著降低通信开销，我们引入了一种不相交共享向量库参数化方法，通过两个紧凑且互不相交的全局向量库重构高维适配器矩阵。其次，为解决聚合困境，我们设计了一种交替优化方案。该方案在解耦的单向量库更新（支持准确聚合）与通过残差谱聚合机制校正的联合更新之间循环交替，从而解决SoP与PoS之间的冲突。此外，我们结合分块量化与客户端侧误差反馈，进一步压缩传输的向量。我们还为所提出的算法建立了理论收敛保证。在Qwen2.5模型上的大量实验表明，FedFit实现了与标准联邦LoRA方法相当的困惑度性能，同时提供最高达100倍的压缩比。