从遗忘中保留什么：免训练 MoE 专家剪枝中的替代算子与路由语义

arXiv:2610.41366v1 公告类型：新论文 摘要：免训练专家剪枝需要做出两个决策：移除哪些专家，以及当层的路由器仍然选中已移除的专家时，该层应计算什么。已发表的方法会同时改变这两者。我们固定掩码，采用配对且经过多重比较校正的检验，在 OLMoE、DeepSeek-V2-Lite 和 Moonlight 上比较三类替代算子，并将 Granite 作为第四种路由器。影响最大的因素是一个通常未被明确说明的选择：保留专家的门控尺度。对于训练时未采用 top-k 重新归一化的路由器，对保留专家的门控值重新归一化这一常见实现选择会导致分数下降 0.8–8.5 分，并逆转重新路由是否优于 MoNE 均值输出替代法的结论；对于两个训练时采用了重新归一化的路由器，在剪枝比例为 50% 时，沿用训练时的尺度表现更优。我们提出 tilted novice，它是对被剪枝专家输入进行变换的闭式低秩映射，其秩为 0 的情形即为 MoNE 的常量替代。在剪枝比例为 50% 时，该方法增加 1.2–1.8% 的参数，相比常量替代，在 OLMoE 和 Moonlight 上分别提升 3.45 分和 1.37 分；这一增益在不同校准样本抽取中保持稳定，且在 4 位和 3 位量化后基本不变。没有一种算子始终占优：沿用训练尺度的重新路由在 DeepSeek-V2-Lite 上表现最佳，而在两个模型上，部分复制每个被剪枝专家的方法与 tilted novice 在统计上无显著差异。评估方式可能改变结论：在剪枝比例为 25% 时，MoNE 的常量替代保留了稠密模型多项选择题准确率的 92–97%，但仅保留了 GSM8K 得分的 5–65% 和代码得分的 0–17%；校准数据领域变化引起的掩码变动幅度是重新采样的 4–9 倍。我们提出了一份包含五个条目的报告核对清单。