Stepped MoE：可配置推理复杂度的分段级路由

arXiv:2610.07348v1 公告类型：新 摘要：大型语言模型（LLM）的训练资源消耗巨大，而要针对计算约束各异的多种部署场景对其进行适配，仍然颇具挑战。尽管弹性架构能够实现灵活的模型部署，稀疏激活模型能够根据输入自适应地分配计算量，但现有方法通常将这两个维度分开处理。此外，面向端侧设备推理的模型需要符合服务设备在内存和计算能力方面的限制。在本文中，我们提出了一个统一框架，将弹性结构与稀疏门控架构相结合，构建出能够同时适应部署约束和任务需求的模型。我们的方法采用一种同时以上下文和目标效率规格为条件的模型骨干网络，从而能够在推理时对精度—效率权衡进行细粒度控制。该模型学习在具有弹性嵌套结构的子网络中激活与任务相关的参数，使单个模型能够覆盖多个容量档位，同时保持基于输入的自适应路由。实验表明，我们可以构建一种模型，使其能够灵活使用1、2、3或4 billion个参数；与对应的稠密模型相比，该模型在知识密集型基准测试上的准确率更高（提升2–5\%），同时性能与其静态版本相当，并且延迟指标与稠密模型相近。总体而言，通过共享模型参数，我们节省了设备磁盘空间；同时，模型能够根据可用的DRAM和计算资源灵活提供服务，并取得更准确的结果。