激活去噪：从鲁棒性视角看并行与串行 LLM 量化

arXiv:2610.07522v1 公告类型：新 摘要：训练后量化是压缩大型语言模型的强大工具。最具可扩展性的方法会并行量化每一层，但量化误差随后会沿残差流累积，因为没有任何层会纠正其之前各层产生的误差。串行量化通过在前序层已量化的输出上重新校准每一层来应对误差累积问题，从而取得更好的效果，但代价是采用串行调度，在大规模场景下会成为瓶颈。为此，我们提出了带激活去噪的并行量化方法，在保持量化完全并行的同时，挽回串行量化的大部分优势。我们不再逐层重新校准，而是从鲁棒性的角度出发，将上游误差建模为噪声，并通过先进行预处理、再执行度量加权舍入，使模型具备抵抗这种噪声的能力。该正则化应用于每一层后，会形成一种随深度累积的平滑性惩罚，减弱量化误差在模型中的放大程度。不同于量化中常用的正交旋转（后者必须保持模型的功能不变），我们将权重乘以一种更一般的线性变换。我们发现，这两种方法相互补充，其效果还会叠加。在实证实验中，我们的鲁棒性正则化仅需一次并行处理，就能挽回串行量化相当一部分的优势，而耗时仅为其一小部分。总体而言，通过将累积的量化误差视为一个鲁棒性问题，我们为大规模场景下更高效、更准确的 LLM 量化提供了有原则的基础。