通过跨层潜在向量量化实现逐层嵌入的极致压缩

arXiv:2610.31309v1 公告类型：新论文 摘要：在扩展 Transformer 计算规模的同时扩展嵌入容量，正成为语言模型领域的新趋势。这一趋势使高压缩率变得愈发有用。因此，我们研究了逐层嵌入（PLE）的极致压缩；PLE 顺应了这一趋势，占 Gemma 4 E4B 参数总量的 35.2%。在如此高的压缩率下，传统量化器为每个词元在每一层的向量分配一个仅有几字节的独立编码。相比之下，我们开发了 OPTIC（Output-Path-fitted, Token-shared Indexed Codes），它为每个词元存储一个量化编码元组，并在每一层使用该层专属的仿射解码器进行解码。编码和解码器针对 PLE 的输出路径进行拟合，而非针对所存储的向量进行拟合。对 bfloat16（BF16）E4B 中的 PLE 进行约 $100\times$ 压缩时，OPTIC 在七项基准测试中总体保留了未压缩模型 97.8% 的性能，而六种传统基线中表现最强的乘积量化仅保留了 66.3%。对 BF16 E4B 中的 PLE 分别进行 $594\times$ 和 $1,002\times$ 压缩时，OPTIC 分别保留了 90.5% 和 84.1% 的性能。在采用 4 位线性层权重和 16 位激活值（W4A16）的 E4B 官方发布版本上，对 PLE 进行约 $100\times$ 压缩时，OPTIC 保留了 96.9% 的性能。在推理期间，当 PLE 压缩率约为 $100\times$ 且键值缓存大小相同时，BF16 E4B 的 GPU 显存占用比使用未压缩 PLE 时减少了 29.7%，而运行速度最多仅降低 0.40%。