频率并非敏感性：识别稀疏 MoE LLM 中对安全敏感的专家

arXiv:2610.02910v1 公告类型：cross 摘要：无需重新训练，抑制少量经路由的专家就可能削弱稀疏混合专家（MoE）语言模型的安全行为。因此，应抑制哪些专家是一个安全问题，而通常的答案是激活频率；但频率衡量的是使用情况，而非影响力。我们测试了一种替代指标：路由器梯度敏感性，即序列损失对用于选择某个专家的门控权重的敏感程度。在五种 MoE 架构中，我们根据每种信号对 500 条良性提示词和 500 条恶意提示词中的专家进行排序，并在两种预算下，使用 100 条留出的恶意提示词测量拒答情况：专家数量相同，以及名义恶意路由流量相同（1%–5%）。在两种预算下的 25 种条件中，路由器梯度选择有 24 种比基于激活的选择降低了更多拒答，并且在全部 25 种条件中都比进行 10 次试验所得的随机均值降低了更多拒答。最大效果出现在 OLMoE 中：拒答提示词数量从 100 条中的 34 条降至 9 条（相对下降 73.53%），且没有输出质量下降，表明这是实质性遵从，而非生成失效。在匹配每一层专家数量后，梯度选择在 25 种条件中的 23 种仍比激活选择带来更大的拒答降低幅度，另有两种条件持平。一项探索性的跨模型分析表明，恶意与良性样本之间更大的集中度差距，与更强的峰值梯度效应相关（rho = 0.90；精确双侧 p = 0.083，n = 5）。总体而言，这些结果支持在所测试的预算下采用梯度选择。