从通用到专用：一种用于在线持续学习的新型优化器

arXiv:2610.27835v1 公告类型：新 摘要：在线持续学习（OCL）要求模型在严格的单遍约束下从非平稳数据流中学习，因此极易受到灾难性遗忘的影响。尽管现有研究已从数据、架构和优化等角度探索了多种策略，但优化器通常直接采用 SGD 和 AdamW 等通用方法。在本文中，我们通过将 Polyak-Ruppert averaging 重新诠释为“可塑性”的引擎、将 Primal averaging 重新诠释为“稳定性”的锚点，揭示了优化动态与 OCL 需求之间的新联系。这启发我们提出了一种新型优化器 SPIN（Stability-Plasticity INterpolation），通过在快速变化的“可塑性”序列与自适应的“稳定性”序列之间进行插值，显式解耦可塑性与稳定性。我们从理论上证明，SPIN 隐式地采用了逆 Hessian 近似，为抑制噪声干扰的单样本 Hessian 估计并缓解遗忘提供了关键的 Tikhonov 正则化。更重要的是，SPIN 可以无缝集成到现有的 OCL 方法中：将得到的梯度作为输入，并替代标准优化器。大量实验表明，在多种 OCL 方法中使用 SPIN 替代标准优化器都能带来稳定且显著的性能提升，包括具有挑战性的无回放设置以及严格的内存约束条件。