通过跳跃连接消除平面特征的伪极小值

arXiv:2610.01728v1 公告类型：新 摘要：理解损失景观对于解释神经网络训练至关重要，然而即使在简单模型中，其结构仍未得到充分理解。我们研究教师–学生设定下浅层、无偏置 ReLU 网络的 Gaussian 总体损失。这为研究特征学习和过参数化等关键方面提供了一个简单模型。对于具有正输出权重和平面特征的教师网络，我们证明，当学生网络的宽度至少与教师网络相同时，引入一个可学习的线性跳跃连接可以消除所有具有非负学生输出权重的伪局部极小值。相比之下，在没有跳跃连接的情况下，我们构造了一个具有正输出权重、输入维度为二且仅含三个隐藏神经元的固定教师网络；对于所有至少为三的学生网络宽度，其伪局部极小值都会持续存在。因此，可学习的线性跳跃连接能够消除在任意过参数化条件下仍然存在的伪极小值。此外，我们证明，具有正输出权重的学生网络总能学习由教师特征张成的子空间：具有非负学生输出权重的局部极小值处的学生特征位于教师特征的张成空间中。对于二维 ReLU 网络，即使学生网络经过高度过参数化，其有效宽度仍受教师网络宽度控制：每个具有正学生输出权重的临界点，其不同学生特征方向的数量至多是教师神经元数量的两倍。最后，我们将这一良性性质推广到任意给定半径的参数球上的经验极小值，其中所需的采样精度取决于该半径。