Adaptive DHiSparse：基于负载自适应 KV 层级结构的推测解码

arXiv:2610.13708v1 公告类型：cross 摘要：长上下文服务在硬件达到其有效吞吐量之前就会耗尽 KV 内存。HiSparse 将历史记录存储在主机内存中，仅获取选定条目，但它在任何负载下都使用相同的缓存预算，也不支持 DSpark 和 DFlash2 等草稿模型推测解码。我们提出 Adaptive DHiSparse，支持基于层级稀疏 KV 的推测解码，并根据负载调整驻留内容。它会保护所需的工作集，在 GPU 内存有余量时保留额外历史记录，并通过精确融合检索恢复其余内容。DSpark 和 DFlash2 保持各自的提议与接受规则：查询共享缺失行检索，草稿 KV 使用窗口限制的环形缓冲区，验证暂存区则在各层组之间复用。在 100K 上下文和并发数 128 下，采用 DFlash2 的 GLM-5.3 每个解码 GPU 可达到 793 个输出 token/s，分别是 HiSparse 的 1.45$\times$ 和非推测自适应服务的 1.27$\times$。在与 HiSparse 相同的延迟上限下，根据每 token 的延迟限制不同，其可支持的并发数最高提升至 4$\times$，输出量提升至 2.3 至 3.7$\times$。在 500K 上下文和并发数 512 下，DeepSeek-V4.1-Flash 采用 DSpark 的 Adaptive DHiSparse，其输出量达到采用 DSpark 的常驻式服务的 1.85$\times$。在负载阶跃变化期间，可选的驻留机制使低负载下主机获取量从选定行的 14.2% 降至 1.4%，并能在压力下释放内存。