LatentIndex：采用层特定选择的跨层共享稀疏注意力

稀疏注意力降低了核心注意力的计算量，但其索引器仍会产生重复的选择开销，并需要按层存储键缓存。在各层之间复用已选索引可以降低这一开销，但会限制多个层使用同一组 token。我们提出 LatentIndex，将 Multi-head Latent Attention 的潜在表示共享原则扩展到索引器层。每个层组根据其首层的隐藏状态构建共享的潜在缓存，同时通过层特定的评分实现独立的 token 选择。将键解码器吸收到查询中后，无需重建历史的逐层键，即可直接对共享缓存进行评分。我们设计了无需训练的校准方法，并研究了这一原则的一种感知训练的实现。为平衡质量与计算开销，分层选择（HS）变体允许后续层在锚点层提出的共享候选集上独立进行细化。在四层共享的设置下，LatentIndex 在 DeepSeek-V3.2 上将逻辑索引器缓存存储降低了 61.1%。在 DeepSeek-V3.2 和 GLM-5 上，无需训练的 LatentIndex 相比 IndexCache 将按头计算的注意力质量召回率最高提升了 3.28 个百分点，同时保持 RULER 和 LongBench 性能接近原生 DSA。在 8K 至 128K 的上下文长度范围内，HS 进一步实现了相对于 DSA 2.30 至 2.72 倍的解码索引器加速，并保留了 LatentIndex 的大部分召回率。LatentIndex 为跨层索引提供了新的视角：共享连续表示而非离散选择，能够在保留层特定 token 选择的同时实现高效复用。