高维持续线性回归中的最优显式与隐式正则化强度

arXiv:2610.20804v1 公告类型：新 摘要：我们研究高维情形下的持续线性回归，其中学习器观测一系列任务并按顺序更新其参数。在这一设定中，我们推导出了一个经过固定步数梯度下降训练的模型的泛化损失显式闭式表达式，该表达式适用于任意教师。我们证明，对于单个教师以及更一般的独立同分布教师，最优固定步长几乎与任务数量成反比衰减，具体为 $\ln T / T$。在这一尺度下，我们表明，由此得到的泛化损失与经过最优调节的 L2（各向同性）正则化所达到的泛化损失渐近等价。此外，我们将分析扩展到具有对角正则化矩阵的广义岭回归，得到了泛化损失的闭式刻画，并确定了最优正则化器为各向同性的充要条件。最后，我们确定了一个参数区域，在该区域中，即使任务数量趋于无穷，最优步长仍保持有限，从而揭示了任务可变性与隐式正则化之间的非平凡权衡，这与独立同分布教师的标度行为形成对比。我们在线性模型和神经网络上的实验均验证了理论预测，并为持续学习系统的设计提供了实用指导。