CIPHER-MoE：在万亿参数规模 MoE 训练中平衡效率与路由保真度

混合专家（MoE）已被近期的大语言模型（LLM）架构广泛采用。然而，在 LLM 训练中扩大 MoE 规模会带来系统层面的训练挑战：非均匀的词元路由可能导致专家和设备之间的工作负载高度失衡，进一步破坏训练过程的稳定性。对于万亿参数规模的 LLM，专家工作负载失衡会进一步放大 MoE 训练的资源成本，导致低负载专家的训练效率和硬件利用率下降，而热点专家则需要额外资源来承接过量的工作负载。近期研究通过复杂的并行策略或资源重分配来解决 MoE 训练中的负载失衡问题。然而，这些系统层面的方法往往引入额外的资源需求和相当高的编排复杂度，在计算资源受限的条件下训练万亿参数 LLM 时，这些开销愈发难以承受。本研究提出 CIPHER-MoE，在保持路由器词元侧 Top-K 选择不变的同时，缓解 MoE 工作负载失衡。CIPHER-MoE 采用感知亲和度的专家到词元筛选，并结合显式容量控制，无需额外硬件资源或复杂的运行时设计，即可降低热点专家的工作负载。该方法已在包括 DeepSeek-V4-Pro 在内的大规模 MoE 模型上进行评估，结果表明，在保持训练质量的同时，Top-1 专家的工作负载占比最高可降低 64.9 个百分点，训练速度可提升至原来的 1.10–1.94 倍。源代码将于近期发布。