超越两次循环：可扩展的循环混合专家方案

arXiv:2610.01153v1 公告类型：new 摘要：循环 Transformer 为 LLM 引入了一个新的扩展维度：通过重复应用共享的 Transformer 模块，在不增加参数量的情况下提升有效深度。然而，在 FLOPs 匹配的比较中，循环对于大型 MoE LLM 的收益仍不明确。主要原因在于，额外迭代带来的收益会迅速递减，甚至可能转为性能下降，因此用于循环的额外 FLOPs 几乎无法带来实质性改进。 consequently，已有工作通常止步于两次循环。 我们确定了扩展循环 MoE 的两个主要障碍。首先，循环继承并放大了深度诅咒：随着残差更新不断累积，隐藏状态的方差在每次迭代中增长，从而使深层递归变得不稳定，并导致表示发生漂移。其次，循环 MoE 会遭遇专家选择坍缩：路由器在不同循环中反复选择相同的专家，因此额外迭代只增加了计算量，却没有带来计算多样性。 基于这一分析，我们提出 LOOM，其核心原则是：每次循环都应贡献新的计算，同时保持递归状态稳定。LOOM 通过缩放残差更新以限制方差增长，并在每次循环中重新注入输入嵌入来稳定递归；同时，通过每循环独立的路由器启用不同专家，并利用将早期输出向前传递的 Looping Residual 来增加多样性。 在 100M–1.7B 模型上的实验表明，循环次数可稳定扩展至 9–12 次。在近等 FLOP 条件下，700M 模型在 5 次循环时表现最佳：困惑度从 18.36 降至 16.54，平均零样本准确率则从非循环基线的 38.84% 提升至 39.53%。在不匹配 FLOP 的情况下，使用 60B tokens 训练的 1.7B 模型在 9 次循环时达到峰值：困惑度从 9.62 降至 7.77，平均零样本准确率从 42.4% 提升至 47.7%。代码见 https://github.com/hed-ucas/LOOM。