Bregman 散度如何塑造 Shampoo

arXiv:2610.08534v1 公告类型：new 摘要：理解 Shampoo 背后的原理，近期为开发更有效的神经网络优化器提供了指导。这些方法通过针对梯度二阶矩优化 Frobenius 散度或 Kullback-Leibler (KL) 散度来学习预条件器。在本文中，我们研究散度的选择如何影响预条件化；这一点目前仍不明确，也阻碍了进一步改进。为此，我们构建了一个统一的 Bregman 散度框架，将所有流行的散度联系起来，从而能够对它们进行联合研究。通过对梯度二阶矩进行经验谱分析，我们考察了散度选择如何影响 Kronecker 近似，以及其如何与预条件化中的有限样本误差相互作用。我们发现，某些散度能够更好地补偿经验二阶矩在有限样本下的低估，这有助于解释相应 Shampoo 变体表现出的不同特性。我们进一步通过 GPT-2 预训练实验验证了这一解释。通过将散度选择与实际训练行为联系起来，我们相信，该框架能够为理解 Shampoo 的基础原理并进一步改进 Shampoo 提供有原则的指导。