Extender：一种日志结构化 Transformer

我们介绍 Extender，这是标准 Transformer 架构的一种日志结构化变体。在标准 Transformer 中，每一层都仅通过残差 $\mathbf{h}$（一个叠加通道）与后续层通信。Extender 增加了一个拼接通道 $\mathbf{x}$：每一层 $\ell$ 都会输出一个残差更新 $δ_\ell$，它被加到 $\mathbf{h}$ 上，同时输出一个小得多的扩展 $ε_\ell$，它被追加到 $\mathbf{x}$ 中。虽然 FFN 和 $\mathbf{q}$ 都会看到 $\mathbf{h}$，但注意力的 $\mathbf{kv}$ 投影仅以 $\mathbf{x}$ 作为输入。因此，完全扩展后的 $\mathbf{x}$ 包含所有层的 $\mathbf{kv}$ 投影的完整输入，将持久化注意力内存占用从 $2Ld_{model}$ 降低到 $\sum|ε_\ell|$。我们发现，当 $|ε_\ell|=32$ 时，在 199M-924M 参数规模下，Extender 在短上下文（CORE）任务上达到 Transformer 的准确率；在同样为 924M 参数规模下，在长上下文（RULER）工作负载上超过 Transformer 的准确率。对于我们宽度为 1664、参数量为 924M 的模型，Extender 的持久化注意力内存占用比 MHA 小 $104\times$。内存节省会随着模型宽度增加而增长。