SoftServe：一种可扩展的深度学习拟牛顿方法

arXiv:2610.02182v1 公告类型：新增 摘要：拟牛顿（QN）方法长期以来一直是大规模无约束凸优化中最有效的方法之一。非凸性和庞大的参数规模这两个障碍限制了它们在深度学习中的应用。我们提出了 SoftServe，这是一系列旨在克服这些障碍、无需线搜索或临时曲率修正的拟牛顿方法。SoftServe 从 Berglund et al.（2025）的变分目标函数中推导出正定曲率估计，即使存在负曲率也不例外。我们开发了对角和克罗内克分解变体，通过设计确保正定性，并能够扩展到超大规模神经网络。最后，SoftServe 依赖稳定的耦合 Newton-Schulz 迭代来执行所需的矩阵运算，以适合 GPU 的矩阵乘法取代代价高昂的矩阵分解。SoftServe 在病态程度极高的问题上表现出色，包括循环网络、深度自编码器、物理信息神经网络以及一个拥有 1.36 亿参数的物理信息扩散模型等任务；与 Adam、Muon 和 SOAP 等成熟基线方法相比，它通常能达到更低的损失。