RoLaQ：多头潜在注意力中 2 比特 KV 缓存的联合旋转与范围校准

arXiv:2610.20686v1 公告类型：new 摘要：多头潜在注意力（MLA）将每个 token 的键值缓存内容压缩为共享潜变量，使低比特存储对长上下文推理颇具吸引力。在 2 比特下，这种表示中的误差会同时扰动注意力匹配和值读取，其影响取决于误差方向和重建尺度。我们提出 RoLaQ（旋转校准的潜变量量化），一种用于联合旋转与范围校准的离线方法。RoLaQ 在由冻结的键和值投影定义的子空间内优化共享旋转，并联合学习量化范围，其中阈值与重建增益相互耦合，以控制共享信号的响应。在模型权重保持冻结的情况下，通过预测匹配和注意力输出监督来引导校准。在三个 MLA 模型和六个基准测试中，无论是否采用 token 保护，RoLaQ 在对比的 2 比特方法中都取得了最高的平均准确率。在 DeepSeek-V2-Lite 上，在相同内存预算下，SGLang 实现使 BF16 KV 容量提升至原来的 3.96 倍；当输入 token 数为 256K 时，解码吞吐量达到其 2.51 倍。