量化循环语言模型比你想象的更容易

线性递推正日益成为大语言模型的常见构建模块，以固定大小的循环状态取代 softmax 注意力中不断增长的 KV 缓存，从而实现高效解码。然而，现有量化技术栈主要围绕 softmax Transformers 开发，其数值特性和推理状态与循环模型有所不同。我们的目标是理解这些差异，并研究循环模型量化方法的设计空间。在分析中，我们区分了两类量化目标。第一类是状态外量化，涉及循环状态之外的权重和激活值，其分布在训练过程中受到序列混合器的间接影响。在参数规模为 13 亿的受控模型实验中，我们发现，带衰减的递推所形成的残差离群值通道弱于 softmax 注意力，因此无需非相干化处理也更容易量化。第二类是状态内量化，涉及解码过程中的循环状态本身，其中反复更新所带来的数值问题不同于 KV 缓存量化。我们将这些发现落实为 LoReS，这是一套状态量化流水线，结合了沿值轴的缩放因子分组以匹配输出通道的数值幅度、基于衰减的混合精度以保护衰减缓慢的头或通道，以及随机舍入以限制反复重新量化时的误差累积。在 Qwen-3.5 9B、Nemotron-H 8B 和 Kimi-Linear 48B-A3B 上，LoReS 均支持稳健的 8 位状态量化，并能在较短的解码跨度下实现更低的有效精度。我们在 vLLM 中实现了 LoReS，并展示了端到端解码加速效果。