推理时专家停用中的训练时权重规则匹配

推理时停用专家会同时改变词元路由和专家权重，其对性能的影响取决于这些变化的具体实现方式。我们在来自四个模型系列的五个指令微调检查点上，使用相同的停用专家集合，对比了移除、冻结、剩余专家权重重归一化以及不归一化的重新路由四种实现方式，并以一个基础 OLMoE 检查点作为额外对照。我们建立了一个权重和模型，将专家贡献的损失和分支尺度的变化与训练时使用的权重规则联系起来。当依据基于激活的排名停用一半专家时，在使用原始路由器概率训练的模型中，剩余专家权重重归一化会导致最高的困惑度；而在使用归一化权重训练的模型中，不归一化的重新路由会导致最高的困惑度。保留训练时的规则时，困惑度为未停用专家的基线的 1.4 至 73 倍；而在规则不匹配时，困惑度为基线的 14 至 28,740 倍。任务结果因评估类型而异：在 OLMoE 上，四种实现方式均使 GSM8K 严格匹配准确率降至零。将该模型扩展到激活专家数量变化的情形后，可得出一个进一步的预测，并得到 OLMoE 实验的支持：激活的专家越少，额外重归一化造成的困惑度增幅就越大。