用于兼容压缩的稀疏长上下文 LLM 推理的 Self-Indexing Attention
Self-Indexing Attention for Compression-Compatible Sparse Long-Context LLM Inference
精选理由
提出统一的1位检索索引，兼容KV缓存压缩，在保持长上下文效果的同时显著加速预填充与解码。
AI 摘要
arXiv:2609.13205v2 公告类型：replace-cross 摘要：稀疏长上下文推理要求在预填充和解码阶段都能高效检索词元。现有方法通常在这两个阶段采用不同的检索策略，导致同一种检索表示无法在整个推理过程中复用。我们提出了 Self-Indexing Attention，这是一种基于共享变换域符号—幅值表示的免训练框架。键的符号位提供了可复用的词元级索引，可用于分组预填充选择和解码检索；同时，该表示仍兼容外部 KV 缓存压缩，无需单独的索引器元数据。这种 1 比特索引可通过现代加速器广泛支持的按位运算实现高效检索。在 5% 的注意力密度下，Self-Indexing Attention 在 LongBench 和 RULER 上的表现仍接近稠密注意力，并在预填充和解码阶段分别实现了最高 6.1 倍和 10.3 倍的注意力算子加速。结合 TurboQuant 和 DeepSeekV4-Flash 的实验进一步验证了其与低比特 KV 缓存压缩及预训练稀疏注意力索引器的兼容性。