稀疏自编码器能够诱导局部几何结构以缓解灾难性遗忘

arXiv:2610.22439v1 发布类型：新 摘要：在监督式持续学习中，灾难性遗忘仍然是一个挑战，因为适应新任务会导致表征漂移以及先前学习信息的丢失。这引出了一个问题：在保持可塑性的同时，应当约束哪些表征变化。因此，我们提出 Sparse Autoencoder Geometric Anchoring (SAGA)，将每个任务边界处训练的 Sparse Autoencoder (SAE) 转换为针对表征漂移的局部低秩约束。重放样本指定约束适用的位置，而编码器 Jacobian 的领先右奇异方向则指定需要惩罚的变化。由此得到的几何结构依赖于输入，并且无需在后续任务的训练中保留 SAE 即可维持。我们建立了其与潜在代码匹配之间的局部关系，定义了其谱截断误差，并推导出冻结读出层漂移的条件界。结合重放与快照历史，在三个预训练 ViT-B/16 基准上，与所评估的 ER、DER++、ER-ACE 和 SGD 基线相比，该方法取得了最高的平均 Class-IL 准确率和最低的平均遗忘；相较于最强的传统基线，在 CIFAR-100、CUB-200 和 ImageNet-R 上的准确率分别提升 12.15、4.79 和 3.22 个百分点。从头训练的结果更加不一致，而秩消融实验和几何控制实验表明，SAE 诱导的低秩几何结构能够在稳定性与可塑性之间实现有益的权衡。