基于算法稳定性的持续学习灾难性遗忘细粒度分析

arXiv:2610.31551v1 公告类型：新论文 摘要：理解灾难性遗忘，即学习新任务导致先前已学任务的性能下降，仍然是持续学习（CL）中的一项基本挑战。现有理论分析通常依赖特定的模型或任务结构，对迭代优化如何影响遗忘的解释有限。为弥补这一不足，我们构建了一个算法稳定性框架，用于分析 SGD 下的期望总体遗忘，而不限定具体的模型架构。具体而言，我们将遗忘分解为任务内泛化差距、跨任务泛化差距和经验遗忘。为界定泛化差距，我们追踪样本扰动如何影响任务内的更新，以及如何经由后续任务传播。我们考虑了恒定学习率、任务内衰减学习率和连续衰减学习率三种调度方式。通过比较这两种衰减调度方式，我们刻画了在任务边界处重新启动学习率衰减如何影响历史样本扰动的传播。对于经验遗忘，我们通过保留沿优化轨迹的累积梯度对齐信息，在不要求凸性的条件下推导出三种调度方式对应的界。综合这些结果，我们得到了期望遗忘的上界，揭示了训练集大小、每个任务的更新次数、任务总数、学习率调度方式及累积梯度对齐的影响。最后，我们在 Split CIFAR-100 和 Split MiniImageNet 上开展实验，以考察理论发现的实证意义。