量化误差在频谱上是平坦的:单个随机探针是一种经过校准、无需数据的敏感度估计器,并可应用于面向预算的混合精度量化
Quantization Error Is Spectrally Flat: A Single Random Probe Is a Calibrated, Data-Free Sensitivity Estimator, with Application to Budget-Targeted Mixed-Precision Quantization
精选理由
提供无需校准数据的高效混合精度量化思路
AI 摘要
单个随机 Gaussian 探针可以无偏估计某一层量化误差的平方 Frobenius 范数。该估计器表现良好,因为舍入到最近值的误差在频谱上是平坦的。在来自一个 35B MoE 和一个 9B 稠密模型的 1,683 个张量中,有效维度为相同形状的独立同分布噪声值的 0.93 到 0.96 倍,并且在 MoE 上,从 2-bit 到 8-bit 的中位数保持不变。探针变异系数可由张量形状预测。一个探针可在 4% 到 7% 以内测量每个张量的敏感度;二十个探针可达到 1.3% 到 1.4%。RAM 将该估计器的传播形式应用于无需校准数据、面向预算的混合精度量化。携带网络自身输入统计信息的 Gaussian 探针会在六种位宽下为每个张量评分。一个背包求解器在精确字节预算下分配位数,并设置防护机制以避免灾难性的 2-bit 分配。一次探针传递即可服务任意预算。孤立评分和传播评分在 Qwen3.5-35B-A3B 上对张量的排序彼此独立(Spearman -0.01),但传播探针与来自真实激活的 GPTQ 层目标之间的秩相关为 0.81 到 0.83,而孤立估计器与其不相关。该目标并不是正确的分配目标:在 Qwen3.8-27B 上字节数匹配时,块输出探针优于厂商 IQ3_M 混合方案,也优于基于真实激活目标进行分配的 oracle。在 Qwen3-8B 上,传播探针在字节数匹配时与 HAWQ-V2 打平。跨越从 8B 到 122B 的七种架构,并且在单台工作站上对一个 400B 模型进行探针计时最多九分钟的情况下,RAM 在测试的 MoE 模型上,相比大小相近的统一 4-bit 构建,将 WikiText-2 中位困惑度降低了 3.5% 到 13.6%。