CoDe-LoRA：通过知识巩固与解耦缓解大语言模型持续学习中的正交性困境
CoDe-LoRA: Mitigating the Orthogonality Dilemma in Continual Learning of LLMs via Knowledge Consolidation and Decoupling
精选理由
提出无须回放的 CoDe-LoRA，在积累通用知识与隔离任务知识间取得平衡，提升大模型持续学习效果。
AI 摘要
arXiv:2610.08312v1 公告类型：交叉发布 摘要：持续学习（CL）对于大语言模型（LLMs）依次适应不断演变的任务至关重要。为缓解灾难性遗忘，近期研究通过引入正交投影的低秩适应方法（如 O-LoRA）来隔离任务参数。然而，我们揭示了这种严格的几何约束会引发“正交性困境”：刚性的参数隔离阻碍了共享表征在语义相关任务之间的迁移与积累。在本研究中，我们提出了一种用于大语言模型持续学习的新型无回放方法，称为 Consolidation and Decoupling LoRA（CoDe-LoRA）。CoDe-LoRA 将学习过程解耦为通用知识巩固和任务特定知识解耦两个部分。为此，CoDe-LoRA 利用自适应零空间投影机制和语义路由，在知识积累与任务特定适应之间取得平衡。在四种骨干模型和三个持续学习基准上的实验结果表明，CoDe-LoRA 取得了最佳平均准确率。我们的代码已发布于 https://github.com/Estrellajer/CoDe-LoRA。