通过专家选择偏置克服数据不平衡

arXiv:2610.13370v1 公告类型：交叉收录 摘要：混合专家（MoE）模型已成为前沿大语言模型的标准架构。每个 Transformer 块中的多个并行专家，理论上能够在预训练期间按领域、语言或模态等类别形成专业化分工。然而，当不同类别之间的数据不平衡时，少数类别可能集中在专家池中的一小部分专家上，或低效地分散到各个专家上，从而实际上限制了这些类别可用的模型容量。在本研究中，我们证明，以类别为条件的专家选择偏置可以优先将不同类别的词元路由至专门的专家池。通过根据输入类别施加偏置，我们提供了一种简单的方法，以诱导与类别对齐的软性专业化分工。这种干预促使不同类别倾向于使用不同的专家子集，同时在有益时保留跨类别共享。更重要的是，它能够为原本因数据稀缺而处于不利地位的类别超额分配专家容量。在参数规模最高达 10.6B 的模型中，我们观察到了跨模态、低资源语言和代码方面的性能提升。在最小和最大的模型规模下，这些收益分别相当于为基线额外分配 18.5% 和 2.7% 的训练词元。总体而言，我们的结果表明，专家偏置可以作为一种轻量级的类别层面专家分配控制手段，在保留标准 MoE 推理方式的同时，为低资源类别腾出容量。