AlignQuant：面向高效 LLM 生成的瓦片对齐混合精度量化

arXiv:2610.07457v1 公告类型：新 摘要：细粒度混合精度量化有望实现高效的大语言模型推理，但局部精度选择可能与常规 GPU 存储和计算单元产生冲突。这种精度边界不匹配限制了压缩技术转化为实际加速的能力。我们提出 AlignQuant，一种训练后量化方法，使用与 GPU 兼容的二维权重瓦片作为精度分配、紧凑存储和执行的统一单位。这种共享分区使精度能够根据输出通道内的敏感度进行分配。在量化激活下，联合预填充/解码校准通过由语言模型损失梯度加权的投影输出扰动，对精度降低进行评分。经过阶段归一化的评分，在全模型权重存储预算下，优先为对任一阶段重要的瓦片分配更高精度。每个瓦片存储一种选定的表示形式，而面向不同阶段的内核则复用打包后的模型，并将低比特权重扩展为使用 8 位激活进行 INT8 计算。在涵盖 3B 至 14B 参数的四个 LLM 上，AlignQuant 在保持模型质量的同时，相较于 BF16 实现了最高达 $2.50\times$ 的生成加速。评估还涵盖了三种 GPU 以及最长达 64K token 的上下文。这些结果表明，通过共享的瓦片单位，局部精度灵活性与规则化 GPU 执行可以并存。实现代码可在 https://github.com/HanzhiZhang-Ulrica/AlignQuant 获取。