浅层编码生成深层记忆

arXiv:2611.06084v1 公告类型：新论文 摘要：混合语言模型将少量 softmax 注意力层与大量线性注意力层或状态空间层交错排列，因此每一层都会保留先前词元的记忆：键值缓存或固定大小的循环状态。在推理服务中，这些记忆所消耗的计算资源和高带宽内存超出了生成输出的实际需要。预填充阶段会为每个提示词元运行所有层，而每个解码步骤都会加载并存储完整的循环状态；在 Qwen3.8-Flash-Next 上，每个请求的循环状态所占字节数相当于数千个词元的注意力缓存。我们发现，训练后的混合模型具有两个特性，揭示了这些冗余开销的来源。第一，写入比读取更容易：写入深层中某个词元的记忆，只需要很少一部分预测下一个词元所需的深层计算。因此，我们训练了深层写入路径的副本，称为发射器，使其根据较浅锚定层的残差流写入提示的深层记忆；除最后一个提示词元外，其余提示词元最少只需运行 63% 的层。第二，循环状态具有状态汇聚项：其大部分能量集中在沿各注意力头固定方向的一个秩一项中，其余部分则是低秩工作记忆。SEED 基于这两个特性构建：它降低预填充的计算深度，并简化解码状态的表示。每个循环状态都以汇聚项加低秩因子的形式存储，Gated DeltaNet、Kimi Delta Attention 和 Mamba-2 的更新可以对这种表示进行精确扩展；我们证明，周期性地将状态重新压缩至低秩所产生的开环误差，其上界与压缩次数无关。SEED 冻结原始权重，不压缩任何注意力缓存，并为每个生成词元运行所有层。在五种参数规模从 300 亿到超过 3000 亿的生产级混合模型的六个检查点上，SEED 在十一项官方考试评测中几乎无损。在 NVIDIA GB300 GPU 上使用 SGLang 提供推理服务、处理智能体编程轨迹时，它将 Qwen3.8-Flash-Next 的单 GPU 吞吐量提升至原来的 1.2–1.4 倍。