DASC：面向混合线性注意力推理服务的衰减感知状态压缩

arXiv:2608.30386v2 公告类型：替换 摘要：混合线性注意力架构近期已扩展至大型开放权重模型，在显著降低键/值（KV）缓存增长的同时，提供了可与全注意力媲美的质量。然而，其原地递归状态更新使缓存管理变得复杂：前缀复用需要在全注意力 KV 缓存之外保存状态检查点，而完整存储状态检查点会增加内存压力，导致更多缓存驱逐和重复预填充。通过分析 Gated DeltaNet（GDN）和 Kimi Delta Attention（KDA）的衰减结构，我们发现，不同注意力头和通道保留前缀信息的时间尺度存在显著差异，我们将其称为\emph{保留时域}。这种差异表明，持久保存的状态检查点具有很大的压缩潜力。基于这一观察，我们提出了\emph{衰减感知状态压缩}（DASC）：从模型权重推导保留时域，选择长时域状态单元，并将其打包为不规则的状态检查点布局。为与张量并行推理引擎高效集成，DASC 进一步在各个 TP 秩之间均衡分配压缩后的状态检查点。复用时，DASC 可以将被省略的单元填零，也可以付出额外计算开销，利用长度受限的后缀刷新这些单元。在 Kimi-Linear 上的检索和端到端推理基准测试中，保守的 DASC 配置在将 KDA 递归状态检查点压缩 $2.63\times$ 的同时，保持了接近完整缓存的表现。在固定的状态检查点内存预算下，由此获得的容量提升使平均首个词元生成时间（TTFT）降低了 42.6\%，输入吞吐量提高了 68.4\%。在更高压缩比下，后缀刷新能够恢复因更激进省略而损失的大部分准确率，但代价是额外的重放计算。采用 GDN 的 Qwen 也呈现出类似的质量—效率趋势，表明 DASC 可以从按通道处理的 KDA 扩展到按注意力头处理的 GDN。