Adaptive DHiSparse：基于负载自适应 KV 层次结构的推测解码

长上下文推理服务在硬件达到有效吞吐量之前，就会耗尽 KV 内存。HiSparse 将历史数据存储在主机内存中，并且仅取回选中的条目，但它在所有负载下都使用同一缓存预算，也不支持 DSpark 和 DFlash2 等基于草稿模型的推测解码。我们提出 Adaptive DHiSparse，它支持在分层稀疏 KV 上进行推测解码，并根据负载调整数据驻留。它保护必需的工作集，在 GPU 内存空闲时保留更多历史数据，并通过精确的融合检索取回其余数据。DSpark 和 DFlash2 的候选生成与接受规则保持不变：查询共享缺失行的取回操作，草稿 KV 使用受窗口大小约束的环形缓冲区，验证阶段的暂存空间则跨层组复用。在 100K 上下文长度和 128 并发下，结合 DFlash2 的 GLM-5.3 在每个解码 GPU 上实现了每秒 793 个输出 token，分别为 HiSparse 的 1.45$\times$ 和不使用推测解码的自适应推理服务的 1.27$\times$。在遵守与 HiSparse 相同的延迟上限时，根据每 token 延迟上限的不同，它能够持续支持最高 4$\times$ 的并发量和 2.3 至 3.7$\times$ 的输出吞吐量。在 500K 上下文长度和 512 并发下，对于 DeepSeek-V4.1-Flash，结合 DSpark 的 Adaptive DHiSparse 实现了结合 DSpark 的全驻留推理服务 1.85$\times$ 的输出吞吐量。在一次负载阶跃变化中，可选驻留在低负载时将需要从主机取回的行占选中行的比例从 14.2% 降至 1.4%，并在内存压力下释放内存。