PMF-CL：面向冲突任务的帕累托最小遗忘持续学习器

arXiv:2605.19145v3 公告类型：替换 摘要：在相关文献中，研究者提出了许多持续学习（CL）算法，以解决 ML 模型中的灾难性遗忘问题（即学习新任务会导致模型在先前学习任务上的性能下降）。尽管所有 CL 方法都以某种形式使用记忆来保留过往任务的信息，但对于究竟需要存储哪些信息才能将灾难性遗忘降至最低，人们仍缺乏扎实的理解。近期已有研究认识到，在假设所有任务存在一个共同全局最小值这一强假设下，可以完全避免灾难性遗忘。然而，在实践中，任务很少拥有共同的全局最小值，因此一定程度的遗忘是不可避免的。本文从多任务学习（MTL）的视角出发，将 CL 重新表述为对存在冲突的任务进行事后平衡的问题。该方法基于寻找帕累托最优解，即按照帕累托意义定义的、使先前任务遗忘程度最小的解。我们针对线性回归和基函数回归推导出一种帕累托最小遗忘持续学习（PMF-CL）算法。尽管仅需为 $d$ 个模型参数使用与任务数量无关的静态 $O(d^2)$ 内存空间，我们的算法仍可自然扩展到其最小值附近具有二次上界的损失函数。在二次损失情形下，我们获得了关于遗忘的精确事后帕累托最优保证。在二次上界情形下，遗忘可以得到可证明的界限，且该遗忘界限的紧致程度由损失函数二次上界的紧致程度直接决定。数值结果验证了我们的理论结论，即算法能够收敛到帕累托最优解，并表明与以往的经验方法相比，我们的算法在占用更少内存的同时始终取得更优性能。