测量学习率迁移曲线的局部形状

arXiv:2610.21814v1 公告类型：新 摘要：理解训练后模型性能对学习率（LR）的依赖关系，对于更好地优化神经网络至关重要，但合适的学习率大小取决于学习动态、架构及其隐藏偏置，因此我们对这种复杂依赖关系的理解仍然有限。最近，大量关于不同设置（如模型规模）之间学习率迁移的实验观察到了损失曲线随学习率变化的行为，因此，探索能够定量刻画该学习率曲线形状的方法变得越来越重要。在本文中，我们给出了两个关系方程，它们能够很好地从经验上解释学习率迁移曲线的梯度，即学习率梯度。其中一个是在稳定性边界处成立的理论公式，另一个则是将该梯度直接视为超参数梯度后得到的近似表达式。通过互补地使用这两个关系方程，我们从理论上展示了该曲线梯度的一个下界，并证明了在特定条件下，归一化层的梯度为零。该近似表达式还适用于广泛的实验设置，并使我们能够将学习率梯度分解为逐层分量，进而量化特定层对曲线形状的显著贡献。因此，这为更好地理解学习率依赖关系的内部机制奠定了基础。