ConQuR：通过优化旋转实现角点对齐的 LLM 激活量化

arXiv:2605.10793v2 公告类型：替换 摘要：由于大型语言模型（LLM）具有庞大的内存占用和较高的推理成本，部署这类模型代价高昂。权重-激活量化可以降低这些成本，但低比特激活量化仍然困难，因为激活异常值会引入较大的量化误差。近期基于旋转的方法通过应用正交变换，在不同维度之间重新分配激活幅值来解决这一问题；然而，现有方法要么需要代价高昂的端到端旋转训练，要么依赖存储的激活语料库，从而带来显著的计算或存储开销。我们提出了一种用于 LLM 激活量化的轻量级训练后旋转校准方法。该方法学习正交旋转，使归一化激活与内接超立方体的顶点对齐，从而促使激活能量在各个维度之间更加均匀地分布。该目标可通过正交 Procrustes 问题实现高效的闭式更新，避免在正交群上进行基于梯度的优化。我们进一步提出了一种在线校准流程，在处理校准样本的同时更新旋转矩阵，从而无需将激活存储在磁盘上，并使旋转矩阵能够在校准过程中适应量化后的激活分布。在参数规模从 3B 到 70B 的 Llama-2 和 Llama-3 模型上进行的实验表明，该方法在困惑度基准和常识推理任务中取得了具有竞争力或更优的性能，同时避免了高成本的端到端训练和大规模离线激活存储。