先对齐，再校正：面向极低比特量化大语言模型的免训练两阶段低秩补偿

arXiv:2610.08164v1 公告类型：新论文 摘要：低秩量化误差补偿（LQEC）通过在每个冻结的量化权重旁附加一个闭式求解的秩为 $r$ 的适配器，无需任何训练即可恢复激进权重量化造成的精度损失。我们表明，现有补偿方法受到两种共同简化假设的限制。首先，它们采用对称校准，在相同的激活上评估全精度权重和补偿后的权重，由此得到的补偿目标本质上是高秩的，因此固定的秩预算只能捕获其中的一小部分。其次，它们仅最小化损失的二阶项，尽管补偿后的模型并未处于驻点：每一层仍然存在一个比已施加的补偿本身更大的一阶下降方向，而任何重构目标都无法吸收这一信号。我们提出了一个两阶段闭式求解框架，消除了这两种简化假设。第一阶段在 Fisher 加权的非对称目标下，将每一层的输出与全精度模型对齐，使秩预算集中用于可进行秩压缩的目标。第二阶段在补偿后的模型上重新测量统计量，并执行受秩约束的自然梯度更新，以吸收剩余的一阶信号。每个适配器都由一次截断 SVD 得到；反向传播仅用于收集统计量。在采用 QuIP# 的 2 比特量化下，我们的方法将 Qwen3-8B 在 WikiText-2 上的困惑度从 12.43 降至 10.26，将 Qwen3-4B 的困惑度从 21.11 降至 13.22。在留出的 C4 语料库上，该方法分别弥合了与 FP16 之间差距的 51% 和 84%，而最强基线分别为 31% 和 63%；同时，在七项任务的零样本平均表现、更高比特位宽以及另一种量化器下，该方法均取得了一致提升。