循环式专家混合模型的缩放定律

循环式 Transformer 和专家混合（MoE）为高效扩展提供了互补路径：在参数量固定时，递归能够增加计算深度；在激活计算量固定时，MoE 的稀疏性能够扩大总容量。然而，现有缩放定律通常将递归或稀疏性孤立建模。在本研究中，我们提出了 Loop Scaling Laws，这是首个同时结合递归、稀疏性、模型规模和数据对其进行联合建模的缩放定律。其核心是一种有界的、以稀疏性为条件的递归映射，用于刻画循环带来的有效参数增益，以及稀疏性如何提高这一增益。与以往方法相比，这些定律能够更准确地预测循环式模型的留出损失，并将标准稠密模型和 MoE 缩放定律作为特例重新导出。除预测之外，拟合得到的定律还为在计算和内存约束下设计循环式 MoE 模型提供了具有原理依据的基础。下游评测进一步展现了这两个维度的互补优势：稀疏性带来约 3 倍的激活参数效率，递归在推理任务上带来约 2 倍的总参数效率，而联合扩展则进一步推进了性能前沿。作为一项实用扩展，我们表明这些增益在万亿级 token 规模下依然成立：在训练计算量相当的情况下，采用由定律推导出的递归机制的循环式 MoE，在推理基准测试上的表现可媲美规模约大 2 倍的非循环式 MoE，同时还能通过递归实现测试时扩展。