可扩展的 Kronecker-Fisher 近似：用于十亿参数语言模型压缩的高效 Hessian 分析

在本文中，我们提出了一种可扩展的基于 Kronecker 的近似方法，能够在无需存储整个 Fisher 矩阵的情况下捕获跨层交互，从而使得对十亿参数网络进行实用的 Hessian 分析成为可能，而这类网络的完整计算是不可行的。我们的方法揭示了稳定一致的脆弱性模式：在多个模型家族中，value 投影层表现出最高的敏感性和最强的跨层相关性，而其他组件则呈现出特定于架构的行为。通过在量化、稀疏化、层间破坏以及破坏后的微调上的大量实验，我们表明我们的近似与性能退化和恢复都具有很强的相关性。我们的框架为识别大型模型中的脆弱组件提供了一个实用且具有理论依据的工具，并为有指导性的压缩和优化策略开辟了新的途径，例如混合精度分配、逐层稀疏化，以及跨层乃至单个权重组的自适应低秩分解。