逐层误差归因：快速且稳健的混合精度训练后量化

arXiv:2610.09877v1 公告类型：新 摘要：混合精度训练后量化是一种网络压缩方法，它利用小规模校准集，在全局内存预算约束下逐层分配比特数。其主要难点在于克服分配问题的组合性质，以及应对小规模且可能遭到破坏的数据集所带来的敏感性。因此，高效的分配方法应当计算速度快，并且在校准数据遭到破坏时仍能保持模型质量。为设计这样的方法，我们对量化误差进行逐层概率分析，将传播误差与特定层引入的局部扰动分离开来。我们利用这一局部项为简单的分配算法构建可分离评分，该算法无需外部求解器。我们方法的概率性质使其具备应对数据损坏的鲁棒性。在使用 DRUNet 的去噪任务中，当平均每个权重分配 4 比特时，在校准数据干净的情况下，我们的方法达到或超过了当前最先进的混合精度基线方法；在校准数据遭到破坏时则更加稳健，在所测试的破坏条件下，PSNR 最高提升 7.5 dB。实验表明，与所研究的基线方法相比，比特分配速度提升了 28 倍至 2,570 倍。对于量化扩散模型，我们的实验表明，直接应用我们的框架同样能够提升当前最先进水平。