少量比特，统一法则：迈向 W2A4KV2

arXiv:2610.09202v1 公告类型：交叉发布 摘要：当权重、激活值和 KV 缓存同时量化时，极低比特大语言模型压缩面临的挑战最为严峻：它们的分布各不相同，量化误差还会在整个网络中相互作用。我们提出 CanonQ，这是一种统一的量化感知训练框架，通过将源规范化与任务感知适配分离来应对这些挑战。固定旋转和能量归一化将异构张量源映射到规范坐标系，使冻结的高斯参考码本能够跨层、跨模型复用。随后，联合训练在统一的标量／向量接口内，使网络适应权重、激活值和缓存量化产生的耦合误差。我们给出了冻结码本迁移误差和局部任务损失的界，并推导出精确的归一化感知直通雅可比矩阵，将量化失真与梯度偏差联系起来。最显著的收益出现在联合 W2A4KV2 压缩下：在 LLaMA3-1B/3B/8B 上，相比此前最先进的方法及具有代表性的量化基线，CanonQ-Omni 将 WikiText-2 困惑度最多降至其 1/14.28，平均零样本准确率最多提高 57.9%。这些优势还扩展到了 Qwen3-1.7B、代码生成和数学推理：在经过指令微调的 MobileLLM-Pro-1B 上，采用 W2A16KV16 时，相比所评估的最强量化基线，CanonQ 在 HumanEval pass@1 和 GSM8K 精确匹配率上分别实现了 41.7% 和 39.1% 的相对提升。