LatentLoop：通过非对称计算分配扩展循环 MoE 模型

arXiv:2610.19975v1 公告类型：新论文 摘要：循环混合专家（MoE）模型将参数复用与稀疏计算相结合，以在相同预算下提升性能。先前研究表明，即使共享参数，不同循环轮次也可以发挥不同作用。为探究不同循环轮次的贡献，我们在一个将共享模块应用两次的模型中学习各轮独立的残差系数，观察到第一轮的系数较小。固定系数实验表明，减小第一轮的系数能够保持或提升性能，而对第二轮进行同样的缩减则会损害性能。这种不对称性促使我们探索非对称计算分配。我们提出了 \textbf{LatentLoop}，它压缩第一轮的序列，在第二轮保留完整分辨率，并将节省的计算量重新分配用于增大隐藏层维度。我们进一步学习第一轮对完整序列的更新强度，并在各轮之间共享 MoE 权重，同时使用独立的注意力参数，以适应各轮不同的序列分辨率。在涵盖 13 亿至 70 亿参数的 15 种配置中，最大计算预算超过 $10^{21}$ FLOPs，LatentLoop 均能降低验证集负对数似然（NLL）。在拟合 NLL 为 1.988 时，相较于标准 MoE 和循环基线，预测可分别节省 19.0\% 和 7.9\% 的计算量。在零样本和五样本设置下，它还在所有模型规模上提高了九项基准测试的平均得分。这些结果表明，非对称计算分配是循环 MoE 模型一个很有前景的研究方向。