谁来提问，谁来回答：线性注意力在混合语言模型中构建查询

混合语言模型将线性注意力层与少量 softmax 注意力层交错排列。以往研究大多将上下文内检索归因于 softmax 注意力，而主要将线性注意力视为压缩历史上下文的机制。我们重新审视了这种分工，并表明线性注意力通过构建 softmax 注意力所使用的查询，直接参与检索。通过研究 Qwen3.5（Gated DeltaNet）和 Granite4.0（Mamba-2），我们识别出一个编码—寻址回路。前部的编码块保留词元身份信息，而寻址块构建最终位置的表示，softmax 读取器据此形成其注意力查询。在查询键不同的提示之间移植这一表示，能够在 0.97–0.99 比例的案例中改变检索指向。寻址块的循环状态承载检索目标，其计算也能够跨架构迁移：用 Qwen 的寻址块替换 Granite 的寻址块，无需更新任一模型的权重，即可将检索准确率恢复至 0.92–0.94。在对六个 Qwen3.5 模型的研究中，随着模型规模增大，寻址计算逐渐分布到一系列块中，每个块引导一个后续读取器，因为查询不再通过注意力从一个读取器传递到下一个读取器。这些发现揭示了混合检索中的分工：线性注意力构建查询，softmax 注意力执行查找。代码已发布于 https://github.com/yuang-chen/LinearQuery