StrataFlux：内存层次结构原生的低比特 LLM 推理

arXiv:2611.08363v1 公告类型：新论文 摘要：量化可降低大语言模型（LLM）推理的内存和带宽需求，但可能损害准确性；而卸载更高精度的数据则可能导致生成停顿。我们提出 StrataFlux 框架，旨在打破这一权衡：在保留量化所带来的内存和速度优势的同时，恢复低比特权重与键值（KV）缓存量化造成的准确性损失。StrataFlux 协同设计精度细化信息的表示、选择和传输方式，使主机 RAM 和固态硬盘成为额外精度信息的有效来源。其选择性精度流式传输机制可减少传输量，使传输与计算重叠，并在多个解码步骤之间复用已获取的精度信息，从而使生成无需等待每次传输完成。我们在独立 GPU 和统一内存平台上评估了 2–4 比特权重及 2–3 比特 KV 缓存。对于采用 2 比特权重的 Llama-3.1-8B-Instruct，StrataFlux 将 WikiText-2 困惑度从 9.46 降至 8.40，同时在 RTX 5090 上保持了量化基线 95.4% 的吞吐量。在权重和 KV 均为 2 比特时，StrataFlux 在 GPU 内存用量不变的情况下，将 Qwen3-8B 在 AIME 2024/2025 上的准确率从 11.0% 提升至 47.1%。在 128K 上下文长度下，采用 3 比特权重和 2 比特 KV 的 Llama-3.1-8B-Instruct，在 RTX 5090 上实现了与 vLLM 采用 4 比特 AWQ 权重和 8 比特 KV 时相当的困惑度和速度，而 GPU 内存用量约为其一半。这些结果表明，驻留 GPU 的数据精度不必决定准确性的上限，卸载存储层的延迟也不必决定解码速度。