LeapQuant：具有精准循环状态量化的高效线性注意力

近期的 LLM 越来越多地采用混合架构，以线性注意力取代标准注意力，例如 Gated DeltaNet（GDN）和 Kimi Delta Attention（KDA）。尽管这类方法将上下文压缩为固定大小的循环状态，并显著降低了长上下文处理的成本，但反复读取和更新该状态仍然是推理过程中的主要瓶颈。量化为降低这一成本提供了一种自然的方法，但由于舍入误差的累积，以及状态中存在离群行和离群列，量化可能会严重降低模型质量。为应对这些挑战，我们提出了 LeapQuant，这是一种无需训练的方法，可在 8 位循环状态量化下实现近乎无损的性能。首先，为减轻误差累积，我们提出按窗口量化，在跨越一个 token 窗口后，仅在窗口末尾对状态进行一次量化。在窗口内部，输出由固定的低比特状态与高精度的缓冲更新共同计算。其次，为减少每次量化引入的误差，LeapQuant 保留状态中幅值最大的离群项，将其作为少量高精度的 Compensator Tokens，并使其与真实 token 共享更新路径。随后，我们在量化前对剩余残差进行平滑，以进一步降低误差。在 Qwen、Kimi 和 GLM 模型系列上的综合实验表明，LeapQuant 能够显著降低推理期间的内存和计算成本。在精度与 FP32 基线相当的情况下，该方法在 NVIDIA B200、RTX PRO 6000 和 RTX 5090 GPU 上实现了内核级平均 2.05--3.70$\times$ 的加速，以及端到端推理 1.47$\times$ 的加速。