论 Hyper-Connections 的设计：简化、稳定性与可扩展性

arXiv:2611.05984v1 公告类型：新论文 摘要：Hyper-Connections（HC）架构正日益被前沿语言模型采用，但人们对其组成部分的理解仍不充分，且这些组成部分引入了不可忽视的训练开销。在本研究中，我们系统地研究 HC 架构，以理解其组成部分，并寻找更简单、更高效的设计。我们发现，不含混合的可学习读写门控，以及采用固定门控的无约束混合，构成了两组有效的交互机制：单独使用其中任一组，都能达到与 mHC 相当的性能。我们还发现，即使不进行混合，反复访问扩展后的残差状态也是训练开销的主要来源。这些发现促成了 SimpleHC：它通过移除残差混合来简化架构，并利用由此形成的加性结构和共享门控输入，通过共享内存访问来简化执行。各层专属的门控共享一个组入口状态，从而支持批量读取和延迟写入；标量校正则精确保留前序子层输出的贡献。我们的分析既支持所保留的残差结构，也支持共享内存访问的设计。在测试的最大规模下，相较于普通残差基线，SimpleHC 仅增加了 2.4% 的端到端训练时间。当 MoE 模型从 15B 扩展到 30B 时，它保持了与 mHC 相当的性能，在标准训练期间表现出更平滑的梯度动态，并在压力测试下保持稳定。我们希望 SimpleHC 能推动基础模型设计更广泛地追求简洁，使大规模应用中的性能提升更易实现、更具实用性。