ACE: 面向基于MoE的LLMs的自适应免校准专家跳过

混合专家（MoE）架构为扩展大型语言模型（LLMs）提供了一种高效范式，但固定的 top-k 路由会对每个 token 激活相同数量的专家槽位，造成大量冗余计算。现有的专家跳过方法往往依赖路由置信度、校准数据或额外训练，因此无法可靠估计已路由专家的实际贡献。为此，我们提出 ACE，一个无需训练、无需校准且保持 checkpoint 不变的框架，用于基于MoE的LLMs中的 token 自适应专家跳过。ACE 包含两个互补组件：1）Global Spectral Proxy（GSP），通过耦合的 gate、up 和 down 投影以及 RMSNorm 缩放来估计全局变换能力；2）Router-Conditioned Refinement（RCR），基于中心化的路由权重构建专家特定的方向原型，并沿路由偏好方向评估专家响应。在推理过程中，ACE 将这两种估计与运行时路由门控相结合，仅当两种视角都将某个专家判定为低贡献时才跳过对应专家槽位，同时始终保留 top-1 专家。所有专家统计量均在离线计算，在线阶段仅需查表和轻量标量运算。跨三个基于MoE的LLMs和八个基准的大量实验表明，ACE 始终优于现有静态和动态基线，并且在更激进的专家跳过设置下优势更加明显。例如，在 Qwen3.6-35B-A3B 上以 50% 的跳过比例运行时，ACE 将 WikiText-2 困惑度降低了 7.96%，并且相比最强竞争方法将平均下游准确率提升了 4.15 个百分点。