SpectrumQuant：面向 LLM 量化的谱对齐

arXiv:2610.20303v1 公告类型：新论文 摘要：正交变换已成为大语言模型（LLM）低比特量化的有效工具，因为它们能够重塑激活值分布，而不改变模型的底层函数。现有方法通常依赖固定的、与数据无关的变换（如 Hadamard 旋转），或在校准阶段对可学习旋转进行优化。我们从第一性原理出发研究旋转选择，表明最大化协方差会导向谱对齐，并为构造量化友好的正交变换提供了具有理论依据的准则。基于这一认识，我们提出 SpectrumQuant，这是一种闭式旋转方法，通过校准数据估计激活值的协方差，并据此构造用于训练后量化的协方差感知正交变换。我们的数学表述将量化友好的旋转刻画为对齐分量与混合分量的复合，同时将 Hadamard 矩阵涵盖为一个特例。有趣的是，一类蝶形矩阵也属于这一范畴。在 LLM 量化领域，SpectrumQuant 弥合了与数据无关的结构化旋转和可学习旋转之间的差距，为训练后量化提供了一种有效且高效的数据感知替代方案。在 Llama 和 Mistral 模型上的实验表明，SpectrumQuant 的表现可与最先进的旋转策略相媲美，同时所需 GPU 显存不足 SpinQuant 和 DartQuant 等可学习旋转方法的三分之一，耗时也显著更少。