预填充阶段减少专家数量会在哪些方面损害 MoE 模型：少量提示词 token 承担了短答案 F1 损失的大部分

arXiv:2610.22454v1 公告类型：cross 摘要：在预填充阶段让提示词 token 经过更少的路由专家，是降低混合专家（MoE）服务成本的一种简单方法，但这种做法会造成什么损害尚不清楚。我们在四类 MoE 模型中，针对简短答案问答任务，通过 token、层和注意力路径干预来定位损害所在。当专家数量减半时，其中三类模型的 F1 损失主要体现在答案形式上：模型仍能找到答案，但不再简洁作答。在 Qwen3-30B-A3B 中，这一损失产生于答案前的两个聊天模板 token；在 DeepSeek-V2-Lite 中，则产生于最开始的 8–32 个提示词 token，即其指令所在的位置。根据答案似然，这些位置分别约占损害的一半和五分之一。减少专家数量使第一个 token 的注意力权重、范数和最大激活值变化均不到 4%；恢复超级专家或大规模激活值，最多只能挽回约四分之一的损失，远低于让敏感位置使用全部专家。在真实提示词中，仅约 4% 的 token 使用全部专家时，将这些 token 放在任务接口处，可使 F1 与未修改模型相差不超过 1 个点；而将它们随机放在文档中则差约 3 个点（预先指定的五项主要比较中有两项得出这一结果，其余比较未能作出结论或未运行）。由于答案边界总是位于单轮提示词的末尾，并且当 DeepSeek 的指令从开头移开后，其损失便不再可检测到，因此在我们发现的所有敏感布局中，敏感 token 都位于提示词末端；所以，保留末端的规则与读取应用标记的规则无法区分。在 11K-token 提示词上，首 token 生成时间缩短约 14%，而在 2K token 时则没有缩短。