BRANCH-MoE：面向大型嵌入模型的感知均衡树路由

混合专家（MoE）层能够提升模型容量，同时避免每个样本的计算量按比例增加。然而，传统的扁平路由器可能导致专家利用率失衡，并将专家视为无结构的集合，其索引不具有任何拓扑意义。我们提出 {\bf BRANCH-MoE}，一种将 \(E\) 个专家置于深度为 \(\log_2 E\) 的二叉决策树叶节点上的路由架构。在每个内部节点，分支概率以到达该节点的流量按权重计算的平均得分为中心。我们使用指数移动平均估计该均值，从而在无需额外负载均衡损失的情况下，促进两个子树都得到利用。我们证明，这种移动平均估计存在明确的噪声—滞后权衡。对于线性节点映射和对数凹到达分布，我们证明该机制能够防止路由质量崩溃。我们进一步证明，在路由器被冻结的情况下，专家的执行频率决定其随机梯度收敛速率；当按照树前缀将专家分配到设备时，根节点附近的高置信度决策能够限制跨设备通信。我们在 Criteo 点击率预测、Forest Covertype、HIGGS 和 YearPredictionMSD 任务上，对 BRANCH-MoE 与 Switch softmax、DeepSeek-V3 动态偏置、Skywork 对数归一化以及确定性哈希路由进行了评估，使用 \(E=16\)、top-\(4\) 路由和五个随机种子。结果表明，层次化路由能够在保持任务质量和利用率均衡的同时，形成支持局部化专家共同激活并减少通信的拓扑结构。