RouterInterp：理解混合专家路由中的叠加式专门化

arXiv:2610.11775v1 公告类型：cross 摘要：稀疏混合专家（MoE）模型通过将 token 路由至模块化专家网络来实现比稠密模型更高效的扩展；这些专家网络仅处理一部分 token。关于 MoE 模型性能的一项主流假设是，每个专家都专门负责一个单一且连贯的领域。然而，基于这一假设开展的可解释性研究通常未能取得成功。我们提出并提供了一种替代解释的证据，称为叠加式专门化假设（SSH）：专家并非专门负责一个宽泛领域，而是专门负责若干细粒度特征的不相交并集。基于 SSH，我们引入 RouterInterp，这是一种用于解释专家路由的方法，能够识别最能预测路由决策的稀疏自编码器特征，并生成统一的自然语言解释。在 gpt-oss-20b 上，RouterInterp 对专家路由的解释检测准确率比以往基于 token 统计的方法高出约 65%。这项工作提供了一种可扩展的方法，用于生成更准确的专家路由解释，并加深了我们对基础模型中一个此前无法解释的组件的理解。