量化对检索造成的未被察觉的损害及其修复方法

我们展示了这样一个现象：即使量化模型保持分类准确率不变，其 top-1 检索结果仍有 $14$% 到 $46\%$ 会发生变化，而且聚合排名指标只能揭示这种损害的一部分。我们将这一失败归因于最高分与次高分之间的差距，并利用这一差距来判断量化答案何时可信，以及应在何处投入额外精度。我们证明，只有当这一差距超过最大舍入误差的两倍时，top-1 结果才能保证在量化后保持不变。在分类任务中，分数是 logits，损失函数会将正确类别与其他类别推开，从而促成这一差距。在检索任务中，分数是查询-文档分数，没有任何机制将 top-1 项与第二项分开。这一差距无需标签即可测量。在部署前，它可以预测哪些模型会在量化后出现问题；在部署时，它则能针对每个输入判断量化答案是否仍与全精度答案一致。大多数分类输入的差距足够大，可以信任量化答案，但只有少数检索查询具备足够大的差距。这一差距促使我们针对不同任务采用不同的修复方法。在检索任务中，为那些量化对差距影响最大的层分配额外位宽，可以用一半的成本获得额外一位所带来收益的四分之三，最多如此。在分类任务中，将少量低差距输入路由至全精度计算，可以用一小部分成本恢复大部分损失的准确率。