基于漂移的量化：面向文本嵌入模型的无标签混合精度训练后量化

arXiv:2610.09227v1 公告类型：交叉发布 摘要：混合精度训练后量化需要逐模块的敏感度信号；对于文本嵌入模型，最直观的信号——量化某个模块所造成的检索质量损失——需要相关性标签，而部署环境中很少具备这些标签。我们测量了一种无需标签的替代指标：量化引起的表征漂移。具体做法是量化一个模块，重新编码语料库，并记录输出嵌入相对于其全精度位置移动了多远。其独特之处在于所观测的对象：部署后的稠密检索器用于排序的输出表征。在五个开发阶段使用的嵌入模型上，配置级漂移对采样得到的混合精度方案的排序，与留出数据上的检索质量排序之间的宏平均 Spearman 相关系数达到 0.911；在可用范围内，该敏感度可跨校准语料库和检索领域迁移；各模块漂移的组合在排序上保持一致，但在数值上并不一致；而由相关性标签推导出的敏感度并未带来稳定的额外价值。该方法在严格的打包字节数预算下进行一次基于可加性的分配，无需标签，也无需搜索。在方法、基线和假设均已冻结并封存之前始终未被触及的三个嵌入模型上，针对先前 LieQ 准则预注册的方向性假设均得到验证（在主要预算下为 3/3，且未出现性能崩溃），漂移方法的得分在其中 2/3 的模型上超过了经过充分强化的双侧 LieQ 对照方案；但在主要预算下，尽管漂移方法如设计预期那样降低了模块和整个模型的漂移，其数值表现仍在全部三个模型上低于相同预算的统一精度方案（分别低 0.99、0.85、1.01 个点）。因此，输出漂移是一种稳健的粗粒度敏感度信号，而非普遍最优的精度分配目标：它避免了迁移后的有符号几何适配方法所出现的灾难性失败，并且在统一精度方案崩溃的紧张预算下仍可能保持可用；但如何围绕表现强劲的统一精度工作点进行细粒度重新分配，仍是尚未解决的问题。