高维持续线性回归中的最优 L2 正则化

arXiv:2601.13844v3 公告类型：替换 摘要：我们研究过参数化持续线性回归设置下的泛化问题，其中模型在一系列任务中采用 L2（各向同性）正则化进行训练。我们推导出了高维情形下期望泛化损失的闭式表达式，该表达式适用于任意线性教师。我们证明，在单教师和多个独立同分布教师两种设置下，各向同性正则化都能缓解标签噪声；而以往能够处理多个教师的方法要么不采用正则化，要么使用需要大量内存的方法。此外，我们证明，最优固定正则化强度与任务数量 $T$ 近似呈线性增长，具体为 $T/\ln T$。据我们所知，这是理论持续学习领域中的首个此类结果。最后，我们在线性回归和神经网络上通过实验验证了理论发现，展示了这一缩放定律如何影响泛化，并为持续学习系统的设计提供了实用方案。