循环语言模型的混合潜在注意力

循环语言模型对每个 token 重复应用同一组层 T 次，在不增加参数的情况下加深模型，但会使其键值（KV）缓存扩大 T 倍。更大的缓存限制了 GPU 可同时解码的序列数量，并减慢每一步解码速度，因为每一步都要读取整个缓存。我们提出 Hybrid Latent Attention（HLA）：在长度为 W 的滑动窗口内保留最近 token 的精确键和值，并将更早的每个 token 存储为紧凑的潜变量，使每次循环的查询都能直接读取该潜变量，而无需重建键和值。我们在 Ouro 循环模型（T=4）上对 HLA 进行增量训练，模型参数规模分别为 1.4B 和 2.6B；在此过程中冻结预训练权重，仅训练新增参数，使其复现原始注意力。缓存大小按每个 token 计算缩小了 10.7 倍，使每个 GPU 能容纳的并发序列数量增加到原来的 4.0—8.8 倍；在 1K token 上下文下，解码吞吐量提升 2.5 倍，在 16K 上下文下最高提升 7.4 倍。HLA 在数学、知识和推理基准测试上保留了原始模型超过 97% 的准确率，并在最长 16K token 的长上下文检索任务上达到 96%—100%。经过监督微调后，在竞赛级数学任务上，其表现与微调后的原始模型相当。