按任务阶段条件化的专家路由并不是 MoE FFN 张量量化敏感性的可靠代理

arXiv:2610.20826v1 公告类型：新 摘要：我们研究了 Mixture-of-Experts（MoE）语言模型中逐层、按任务阶段（prompt/reasoning/response）划分的专家路由统计信息，能否指导路由专家 FFN 张量（down/gate 和 up）的逐层混合精度量化。为获取逐层路由统计信息，我们在 ik_llama.cpp 中为 Qwen-3.6-35B-A3B 构建了路由捕获与分析流水线，从路由熵/决断性、变异系数（CV）、Jaccard/阶段脆弱性以及 top-1 专家强度中推导出综合敏感性分数，并使用坐标下降法调整层分配，同时遵守固定的平均每权重比特数预算。值得注意的是，该分析流水线适用于标准的 top-k MoE 架构。在相互独立的实验条件下（约 4.0 bpw 的平坦配置、约 2.7 bpw 的陡峭配置，以及作为对照的约 2.7 bpw 随机分配），在每个质量档位内，重新分配均未能优于统一基线。在平坦配置下，重新分配在统计上没有差异（z 约为 0.9）。对于陡峭档位，随机重新分配的表现与同一档位下由路由指导的重新分配相差不到 1 个 SE，这表明该质量档位存在由强制降级和 Kullback-Leibler Divergence（KLD）尾部注入导致的结构性损失。这种激进预算条件下的显著损失（z 大于 4 个 SE）在三个相互独立的权重向量上均得到复现。我们认为，更深层的问题在于，路由行为统计信息只是未经验证的代理指标，并不能代表真实的逐层量化成本。