位置安排无需代价，组合却并非如此：拉丁方作为异构序列混合器堆栈的可证明平衡构造

arXiv:2609.20269v3 发布类型：替换 摘要：自 GPT 以来，大多数 Transformers 在每一层都重复使用相同的注意力机制。然而，这种设计很大程度上只是惯例，而非经过检验的结论。当多个序列混合器组合在同一个堆栈中时，性能提升可能源于机制选择、位置安排，或二者兼有，这使得因果归因变得困难。我们提出 Aether-7B-5Attn，这是一个拥有 65.9 亿参数（约 29.8 亿参数处于激活状态）的混合专家模型，其 49 层包含七种序列混合机制，并按照一个 \(7\times7\) 拉丁方进行排列。由于每种机制在每一行和每一列中都恰好出现一次，该设计保证了沿深度方向的平衡接触，同时消除了位置安排造成的混淆因素。为评估这一原则，我们构建了一个参数匹配的代理模型：在 16 层中采用四种机制，并按照一个 \(4\times4\) 拉丁方排列；模型参数量匹配为 7.009 亿，每个实验组使用八个随机种子进行训练。结果呈现出清晰的区分。将一个沿深度分布的异构堆栈重新排列为平衡的周期循环，仅使验证损失变化 0.16%，表明精确的位置安排影响很小。相比之下，将相同机制聚集为连续的深度区段会带来 0.59% 的损失，而将异构堆栈替换为同构堆栈则会带来 1.68% 的损失。这些结果表明，性能主要取决于沿深度方向分布的异构组合，而不是取决于某一种特定排列。我们在大 2.16 倍的规模（15.14 亿参数）上进一步确认了这一发现：同构堆栈的损失增幅升至 2.63%，而移除 SSM-family 机制会导致 3.20% 的性能下降。我们还报告了各机制的成本特征、英语和韩语评测结果，以及对全部 49 层进行的因果安全审计。我们将发布模型权重、训练方案、训练代码、日志和架构源代码。