语言模型可以控制它们自己的注意力

语言模型将大部分注意力集中在上下文中很小一部分内容上，但它们会读取整个 KV cache 来找出那几个关键 token。如果用户在一段 100 万 token 的对话中询问之前的某个细节，global attention 层必须扫描完整上下文才能生成回复中的每个 token。一种突出的做法是通过轻量级代理分数预先选择相关 token 来缓解这一成本，但这种外部打分在每一步仍然需要 O(N) 的开销。我们采用一种内在方法，其动机来自一个简单的问题：模型难道不会已经知道上下文中哪些部分是相关的吗？为此，我们提出 Declarative Attention (DA)，一种协议，它引导模型在其思维链中声明需要关注的位置，并将生成过程划分为三种模式： （完整上下文）、 （特定区域）和 （仅最近输出）。推理引擎像处理工具调用一样解析这些声明，并跳过大部分 KV cache 的读取。在 15 个长上下文任务上的零样本评估中，DA 在现成模型（Gemma-4-31B、Qwen-3.6-27B）上显著减少了解码期间被注意到的 token 总数（52.0%、31.1%），同时仅带来较小的准确率下降（1.27pp、2.75pp），且这种下降会随着模型规模增大而减小。DA 为稀疏注意力开辟了一个新的方向，而基于训练的方法下还存在进一步潜力，未来工作可以继续探索。