随机矩阵理论下随机特征网络中的二次弱到强泛化
Quadratic Weak-to-Strong Generalization in Random Feature Networks via Random Matrix Theory
精选理由
揭示随机特征网络中弱教师驱动强学生实现误差平方级下降的机制与适用条件。
AI 摘要
arXiv:2610.09044v1 公告类型：cross 摘要：弱到强泛化是一种现象：使用弱教师模型生成的标签训练的强学生模型，能够比教师模型实现更好的泛化。在本文中，我们研究了两层随机特征网络中的这一现象，其中模型强度由其宽度决定。借助随机矩阵理论工具，我们为经过最优训练的教师模型以及通过梯度流训练的学生模型推导出总体误差的确定性等价形式。对于 ReLU 激活函数和纯球谐目标，在高斯普适性假设下，我们获得了精确的渐近结果，显示出二次改进：学生误差按教师误差的平方进行缩放。这些结果达到了 Medvedev 等人（2025）给出的普适下界。我们还分析了学生模型在更一般的停止时间和由多个谐波阶数组成的目标下的表现，刻画了弱到强泛化发生的各种情形，并确定了二次改进、非二次改进和无改进之间的转变。