MuLoRA：用于持续学习的谱均衡低秩适配

arXiv:2610.02283v1 发布类型：新 摘要：低秩适配（LoRA）为持续学习提供了一种参数高效的方法，但其名义秩可能掩盖有效适配能力的损失。我们发现了\emph{谱可塑性坍塌}：在连续适配过程中，更新能量集中于少数奇异模态，使可用低秩空间的大部分未得到利用。这揭示了仅避免干扰的局限性：保护历史表征并不能确保剩余的适配能力能够响应新任务或得到有效利用。为解决这一问题，我们提出\texttt{MuLoRA}，对容量分配和利用率进行联合控制。首先，历史白化识别出相对于累积历史响应具有较强当前任务响应的输入方向，从而得到一个在训练期间保持固定的任务自适应基。其次，在所选空间内对动量更新进行近似极分解正交化，以减少谱集中。一个正交基将这两种机制联系起来，使因子更新的谱能够精确传递到所诱导的权重更新中。我们建立了精确子空间选择的极小极大刻画，并在受控跨步各向异性条件下推导出累积谱界。在五个类增量基准和八种增量设置中，\texttt{MuLoRA}在报告的16项指标中的15项上取得了最高平均准确率。