英语校准削弱了经专家剪枝的混合专家语言模型的立陶宛语能力

arXiv:2611.07654v1 公告类型：交叉发布 摘要：专家剪枝通过移除校准集判定为不重要的专家来压缩混合专家（MoE）语言模型。针对高资源语言的研究大多发现，英语校准能够很好地迁移到其他语言。我们针对立陶宛语检验了这一点：使用 REAP 对四个 MoE 模型进行剪枝，分别采用英语、立陶宛语或混合语言校准，移除 25% 或 50% 的专家，并评估模型在这两种语言上的阅读理解、翻译和语言建模表现。英语校准无法迁移到立陶宛语：在剪枝比例为 25% 时，英语阅读理解得分下降的中位数为 1.7 分，而立陶宛语为 21.4 分。这种迁移具有不对称性。立陶宛语校准消除了大部分立陶宛语性能损失，且从未显著损害英语阅读理解能力；与英语校准相比，其英语阅读理解得分平均高出 2.5 分，仅英语语言建模表现略有下降。路由情况揭示了可能的原因：在最后几层中，立陶宛语有 55%—72% 的专家选择集中在仅八个专家上，而英语的这一比例为 19%—39%，英语校准会移除其中一些专家。压缩模型应针对其必须支持的每一种语言进行校准和评估。