从顺序到分布：持续学习中遗忘的精确算子框架
From Order to Distribution: An Exact Operator Framework for Forgetting in Continual Learning
精选理由
从任务顺序转向分布，精确揭示持续学习遗忘机制，并给出衰减与恢复时间理论。
AI 摘要
arXiv:2604.13460v2 公告类型：替换 摘要：持续学习中的一个核心挑战是遗忘：在学习新任务后，先前已学习任务的性能下降。以往理论研究了过参数化线性回归中固定任务集合在随机顺序下的遗忘。我们将关注点从任务顺序转向任务分布，探讨任务分布的结构如何决定遗忘。在具有共享解、任务独立同分布采样以及顺序精确拟合的线性设置下，我们推导出一个精确的算子恒等式，直接用任务分布表示历史遗忘。在此基础上，我们证明了有限维空间中任意固定任务分布下期望历史遗忘的指数衰减保证，刻画了其渐近行为，并将衰减与该分布对可观测方向的覆盖程度联系起来。对于单个已学习任务，我们证明后续任务可以在无需精确重访该任务的情况下共同支持恢复。我们推导出恢复时间的一个下界，并构造出一个达到其覆盖度倒数标度的任务分布。