STEPQuant：Delta-rule循环状态量化中误差何时以及何处重要

线性注意力以固定大小的循环状态取代不断增长的 KV 缓存，但在并发服务场景下，这些持久化状态可能成为严重的内存瓶颈。直接将循环状态量化为低精度通常会导致准确率大幅下降，因为量化误差会在连续的状态更新中传播。我们发现，这些误差的影响取决于两个互补维度：在时间维度上，长生命周期记忆中的误差可能跨越许多解码步骤持续存在；在空间维度上，不同键行中的误差对模型输出的影响各不相同，而状态幅值在行和列两个方向上也存在显著差异。受此启发，我们提出了 STEPQuant，一种面向 Delta-rule 循环状态的时空训练后量化框架。STEPQuant 根据误差幅值和记忆生命周期分配精度，并基于状态分布以及键行对输出误差的影响，联合拟合键行和数值列的缩放因子。在 Qwen3.8-27B 和 Kimi-Linear-48B-A3B-Instruct 上，针对长生成和短生成基准的实验表明，在名义上的 6 位预算下，STEPQuant 的准确率接近 FP32 状态，并且其 4 位配置优于统一 INT8。将 STEPQuant 集成到 SGLang 并配合优化后的 GPU 内核后，6 位 STEPQuant 实现了超过 5 倍的循环状态压缩，并使服务总内存最多降低 68.7%。我们的代码可在 https://github.com/Dreamer-Toby/STEPQuant 获取。