DuoRate：面向混合专家模型服务的双码率逐专家精度分配

arXiv:2610.13328v1 公告类型：新提交 摘要：为混合专家（MoE）模型提供推理服务时，需要为专家精度付出两次代价：常驻内存占用取决于路由器能够访问的所有专家，而每个批大小为一的解码步骤只需为其选中的专家付出代价。这是作用于同一组逐专家位宽的两个不同码率泛函，但已发表的逐专家 MoE 分配方法仅约束前者。我们将这种差异称为存储—读取差距；在已发布的 BitsMoE 检查点中，每权重 2.54 比特（bpw）的存储量变成了 7.50 bpw 的解码流量。我们提出 DuoRate，一次存储，按工作负载读取。离线阶段，它以统一精度档位存储可按前缀读取的权重流，并预计算失真张量。在线阶段，它无需标签即可分析工作负载自身的预填充过程，并在解码泛函约束下求解拉格朗日率失真分配；可以证明，路由频率会从每个逐专家决策中消去，而求解开销仅为每个专家一次点积和一次二分搜索。因此，部署时只需保留单一制品，预填充阶段按存储码率读取，解码阶段则按工作负载自身的码率读取。在 Qwen3-30B-A3B 上，以 2.3 bpw 读取的 DuoRate 在平均准确率上比所有 2 比特级基线高出 6.3 至 47.0 个百分点；在 2.9 bpw 下，它与读取量多出 1.4–1.6 bpw 的 4 比特格式表现相当。其优势在长解码场景下最为显著：在 GSM8K 上，2.9 bpw 的 DuoRate 达到或超过所有 4 比特格式，仅比 BF16 低 0.25 个百分点；即使在 2.6 bpw 下，它仍达到或超过 4.5 比特的 NF4 和 FP4。与采用其自身格式的对照方案相比，仅分配策略一项就可节省 0.07–0.11 bpw 的读取码率。代码将在论文发表后发布。