如何循环 MoE：展平专家，解绑定注意力

Looped Transformers 会多次复用同一个层块：通过花费额外计算，它们能让固定规模的模型走得更远，从而更充分地利用其参数；而稀疏 mixture-of-experts（MoE）模型则会为每个 token 只激活众多专家中的少数几个。Looped MoE 将这两种设计理念连接起来，为 MoE 模型带来了更好利用专家的新潜力，但也提出了一个问题：如何循环一个 MoE？我们用 Foil 回答了这个问题。在专家参数和每个 token 的专家计算量保持固定的情况下，Foil（1）展平专家：将专家层数减半、每层专家数加倍、pass 数加倍，使每次路由决策都能从更大的池中选择；（2）解绑定注意力：让每个 pass 拥有自己的注意力参数，而专家和路由器保持共享。实验表明，Foil 明显优于未展平的循环基线：在 20B token 时，每个 Foil 模型的预训练损失都低于基线；在 100B token 时，损失会随着展平程度单调改善，在参数和计算量相同的情况下，展平程度最高的 Foil 最终比基线低 0.012 nat，下游准确率持平或更好；解绑定注意力还会在相同结构下带来更均衡且更有信心的路由。我们的消融实验分析了 Foil 为何有效，并将发现转化为 looped MoE 的设计指导：循环带来的收益与加宽专家层带来的收益会相互放大；相比负载均衡，路由置信度更能反映健康的专家使用；因此，稀疏 looped MoE 应当使用每层更多的专家和更多的 pass。代码和配置可在 https://github.com/SR-A-W/how-to-loop-moe 获取。