用于高效高性能无乘法器 LLM 推理的分数二次幂量化

arXiv:2610.21257v1 公告类型：新 摘要：大语言模型（LLMs）需要高效推理，其中线性投影中的乘加（MAC）操作占据了计算和能耗的主要部分。训练后量化（PTQ）通过将权重和激活映射为低比特整数来降低这一成本。二次幂（PoT）权重量化通过移位加法逻辑实现高效的无乘法器 LLM 推理，但由于其粗粒度的二进制量化网格，在低比特宽度下会造成显著的精度下降。我们提出分数二次幂（FPoT），一种以 $\sqrt{2}$ 为底（半倍频程）的分数 PoT 网格，在保留完全整数移位加法数据通路的同时，实现实用的 4 比特权重量化。该方法结合了：（i）以 $\sqrt{2}$ 为底的权重网格与均匀整数激活；（ii）在校准阶段进行的网格对齐细化，并将其吸收到静态的逐通道缩放因子中；以及（iii）一种轻量级的单加法器 $\sqrt{2}$ 近似，其误差通过近似网格量化在权重校准期间被吸收，从而实现一种相比 4 比特整数乘法器显著减少门数量的处理单元（PE）。在 Llama-3-8B 上进行 4 比特权重和激活量化时，相较于 PoT 基线，FPoT 将零样本常识推理性能提升了 8.72%，同时保持了接近均匀整数基线的性能，性能下降仅为可忽略的 0.4 个百分点。这些结果在涵盖七个模型和三种比特宽度的多种配置下均成立。此外，FPoT 还可以与当前最先进的 LLM PTQ 方法集成，展现出与框架无关的适用性。