关于SGD方法的精确信息核算

arXiv:2610.00446v1 公告类型：新 摘要：作为标准几何分析的替代方案，我们对随机梯度下降（SGD）及其变体进行了精确的信息论分析。我们证明，预条件SGD步骤是高斯贝叶斯模型的后验均值更新，并且其单步遗憾可分解为内在时间成本与比较器信息变化。这种分解进一步扩展为关于目标函数本身的一个恒等式。凸收敛、严格鞍点逃逸、平坦性与泛化之间的联系、标准学习率调度、自适应优化器，以及SGD的噪声、动量、重尾和无梯度变体，都分别对应于这一恒等式中的某一项或特殊情形。我们在合成训练和真实训练过程中测量了其中各项。在真实网络上，该恒等式将经典收敛界中的余量归因于其推导过程中被舍弃的各项，并区分出能够达到相同训练损失的不同优化器。这种区分取决于它们步骤的数量和一致性。它与这些优化器中哪些具有更好泛化能力之间的关系因网络而异。对于无梯度SGD，该恒等式确定了曲率预条件器应如何进入更新。它在数据无关的各向同性先验下给出的、基于尖锐度的泛化证书，在网络规模下通常是无效的，除非曲率谱在所有参数上都近乎平坦。