ChainLoRA：LLMs 中保几何的持续学习任务向量合并

arXiv:2610.00431v1 公告类型：cross 摘要：大型语言模型（LLMs）的持续参数高效微调必须在保留已获取知识、适应新任务和严格参数预算之间取得平衡。我们提出 ChainLoRA，一种基于链式更新任务向量几何的无回放持续合并框架。从参数合并的角度出发，我们通过任务更新之间可测量的交互来构建遗忘的几何视角，将方向重叠与系数耦合区分开来。在此基础上，ChainLoRA 将链式更新训练与流结束后的自适应 SVD 合并相结合。在训练过程中，初始化和单侧正交性代理指标仅使用最后一个载体，使其历史状态占用和正则化开销在任务流增长时保持恒定。在合并阶段，Adaptive SVD 提取共享载体，并通过 Procrustes 适配将其与最新任务对齐。我们的理论分析表明，Procrustes 适配有助于对共享成分和任务特定成分进行几何近似分离。单侧代理指标进一步限制了任务间干扰。此外，有效秩惩罚促进了持续学习过程中任务子空间的高效利用。实验表明，在 Large 和 SuperNI 基准测试中，ChainLoRA 在所评估的无回放方法中取得了当前最佳性能；同时，它在 Standard CL 上也具有竞争力，并且在三个基准测试中的平均得分几乎最接近所评估的有回放方法。