为什么重尾权重谱能够预测模型质量

arXiv:2610.13123v1 公告类型：交叉收录 摘要：我们仍未能扎实理解深度神经网络（DNNs）为何在预测任务中表现出色。例如，尽管已有许多依赖数据的指标试图预测 DNNs 的模型质量，但对于大型数据集，这些指标的计算成本可能很高，而且当训练数据集未公开时，这些指标可能根本无法计算。一种实用且有效的模型质量预测方法是分析 DNN 权重矩阵，因为先前的研究已表明，训练后权重矩阵中的重尾谱分布能够有力地预测模型质量。然而，此类指标缺乏严格的统计学依据。在本研究中，我们旨在从统计学角度理解这些指标为何表现良好。为此，我们采用概率框架推导 DNN 的边际似然，并仅使用最后一层的权重进行评估。在大规模卷积 DNNs 和 LLMs 上，我们发现该边际似然能够预测模型质量。为理解重尾谱在预测性能中的作用，我们针对服从（重尾的）高温 Marchenko-Pastur（HTMP）分布的谱，推导了对数边际似然的极限。我们证明，这一极限量是尾部厚重程度参数的凸函数，并推导出一个最优尾部厚重程度，其在实证中能够预测大规模 DNNs 的过拟合。