PN-Mix：通道对范数引导的混合精度键缓存量化，实现高效长输出 LLM 推理
PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference
精选理由
利用查询—键通道对范数分配量化精度，在更低缓存位宽下维持长文本推理准确性。
AI 摘要
arXiv:2610.19605v1 公告类型：新论文 摘要：大语言模型的长输出推理面临严重的 KV 缓存内存与带宽瓶颈。虽然 KV 缓存量化能够缓解这一问题，但低比特量化（例如 2 比特）会严重降低模型准确率。近期的混合精度键缓存量化方法通过为重要的键通道分配更高精度来减轻这种性能下降，但仅使用键的统计信息来估计通道显著性。通过在 RoPE 通道对层面分析注意力 logit 扰动，我们表明，查询与键的通道对范数乘积较大的通道对，其量化误差会显著影响 logit 的变化。基于这一发现，我们提出 PN-Mix，这是一种面向基于 RoPE 的仅解码器 LLM 的混合精度键缓存量化方法。该方法在预填充阶段一次性识别显著通道对，为其分配更高精度，并在整个解码过程中复用这一分配。在标准推理、代码生成和 AIME 基准测试中，平均精度为 2.26 比特的 PN-Mix 实现了与使用 2.32–2.39 比特的既有混合精度方法相当或更高的平均准确率。此外，在我们的帕累托扫描实验中，PN-Mix 的性能在精度降至 1.5 比特的过程中平缓下降，而参与比较的基线方法在低于 2.25 比特时出现了更剧烈的性能下降。