通过迁移学习实现岭回归中的极小极大最优缩放律

arXiv:2610.23337v1 公告类型：new 摘要：预训练模型通常会被复用于下游任务，这引出了一个问题：这种迁移学习过程能否带来显著的性能提升，具体而言，能否改善缩放律。我们在高维回归这一典型场景下研究这一问题，其中（i）预训练的源模型通过岭回归进行训练；（ii）微调后的目标模型通过与源估计量之间的 $L_2$ 距离进行正则化。首先，我们针对模型偏移和协方差偏移两种情况，建立了这一两步过程风险的确定性等价表达。随后，通过将该确定性等价表达专门化到共享回归函数和彼此可交换的幂律协方差谱，我们确定了一个使所得缩放律达到极小极大最优指数的区域。值得注意的是，在该区域内，最优的源模型正则化仅依赖于源数据，这表明它对所有目标任务都具有普适性。此外，我们还证明，通过单遍随机梯度下降执行微调步骤，也能达到相同的最优速率。我们在合成数据设置和语言模型上进行实验，验证了理论分析。