扩展多语言混合专家模型：语言覆盖范围如何改变容量与计算资源分配
Scaling Multilingual Mixture-of-Experts: How Language Coverage Changes Capacity and Compute Allocation
精选理由
提出多语言混合专家模型的扩展规律，量化专家数量如何降低语言扩展代价并指导算力分配。
AI 摘要
arXiv:2610.20247v1 公告类型：交叉发布 摘要：多语言模型在不同语言之间共享容量，因此增加语言可能会损害模型在现有语言上的性能。混合专家模型能够扩展这一容量，同时仅增加少量的每词元计算量。有了这些额外容量，增加专家数量能否降低每新增一种语言所带来的代价？为回答这一问题，我们提出了一种考虑重复因素的联合缩放定律，将激活参数数量、每种语言的训练词元数量、专家数量和语言覆盖范围联系起来。我们利用来自64种预训练配置的26,300个逐语言损失观测值拟合该定律；相较于所评估的最强基线，该定律在留出配置上的预测误差降低了28%。在激活参数数量和每种语言的训练词元数量相同的情况下，与稠密模型相比，使用32个专家可将语言数量从12种扩展至200种所带来的损失增幅降低83%。我们的定律进一步表明，更广的语言覆盖范围会使更多专家的配置在更广泛的计算预算范围内更具优势，从而为多语言模型规模扩展过程中的容量分配提供指导。