JARQ：量化的联合交替细化

arXiv:2609.38599v2 公告类型：替换 摘要：面向大语言模型的分组训练后量化器会将权重舍入到一个不会针对所得整数编码重新拟合的网格上。我们表明，这会造成精度损失：最佳网格取决于编码，输入相关性会耦合不同分组的误差，而有益的编码变化通常会同时涉及许多编码。我们提出 JARQ，这是一种即插即用的细化方法，可从任意分组量化器出发，交替执行所有分组尺度的联合最小二乘拟合，以及基于当前网格、通过有界 Babai 候选使一个分组中的多个编码共同移动的操作。该问题是一个双线性、盒约束混合整数最小二乘问题；其求解器无需反向传播，在精确求解尺度时不会增加逐层目标函数，并且保留宿主量化器的位宽、分组、零点和推理成本。在 Llama-2、Llama-3 和 Qwen 模型上，以 RTN、GPTQ、OmniQuant 和 AWQ 作为宿主量化器时，JARQ 在 96 项比较中的 90 项降低了困惑度，将三比特 RTN 的困惑度最多降低 36%，在 24 种配置中的 23 种提高了平均多选题准确率，并改善了 QEP、QuaRot 和 OJBKQ 的输出；对于每个 7B 模型块，耗时不到一分钟。