平衡层次化表示与量化：文本嵌入中的性能权衡

arXiv:2611.06859v1 公告类型：交叉收录 摘要：层次化文本嵌入模型提供可变长度的表示，而量化则降低数值精度；两者都旨在提高计算效率。本研究通过实证基准测试，考察这两种相互正交且已成熟的技术如何交互。我们使用四种基于 transformer 的嵌入模型，在 Massive Text Embedding Benchmark（MTEB）的 38 项任务上进行评估，涵盖一维和二维层次化表示与 32 位、8 位及二值量化的组合，每项任务包含 168 种配置。我们分别报告各个效率维度：理论上的单向量存储量和端到端评估时间。采用 Friedman 检验并进行 Nemenyi 事后分析后发现，在文本对分类和重排序任务中，int8 量化与 float32 之间不存在统计显著差异，且总体性能损失最多为 1.5 个百分点；相比之下，二值量化在所有任务类别中均显著更差。当 $m>16$ 时，将嵌入维度减半一次所造成的影响在统计上无法检出；而连续减半两次的影响则始终具有统计显著性。将维度缩减至原来的 1/8 并结合 int8 量化，可将单向量存储量缩减至原来的 1/32，同时保留基线效果的 94.4%。由于评估时间仅测量了一次，我们仅将其视为参考：我们未发现量化能够加快评估的证据，而从中间层采样则能显著缩短评估时间。检索任务的性能退化速度远快于其他所有类别，因此我们按任务类别报告研究结果。