Hierarchical Residuals：以极简方式解耦残差宽度与计算宽度

arXiv:2610.41711v1 公告类型：新论文 摘要：残差连接是 Transformer 的基础，但它们隐式地将沿深度传递的残差宽度与各层内部使用的计算宽度绑定在一起。我们提出 Hierarchical Residuals（HiRes），这是一种极简的架构改动，可将这两个维度解耦，在保持每层计算宽度不变的同时拓宽残差状态。HiRes 将若干层组织成块：标准的 d 维 PreNorm 层在各块内部运行，而更宽的 D 维 PostNorm 外层残差则连接各块。可学习的读写投影在块边界处衔接这两个空间，各个 Transformer 层本身保持不变。在不同模型规模和深度下，HiRes 的表现始终优于普通残差相加，拟合的缩放定律表明，其 FLOPs 效率达到基线的 1.30 倍。在使用 500B 个 token 对 OLMoE-1B-7B 进行预训练时，HiRes 将训练损失降低了 0.0208，并将下游准确率提高了 1.14 个百分点。与 VWN、mHC 和 AttnRes 等其他残差扩展方法相比，HiRes 同样具有竞争力，同时所需的激活内存和 I/O 开销更低。它仅由稠密投影和归一化操作构成，既不需要专用内核，也不需要基础设施层面的优化。因此，HiRes 仅使用标准算子，就使残差宽度成为一个实用的缩放变量。