面向模型市场的成本感知 Mixture-of-Experts 协调

arXiv:2610.11908v1 公告类型：cross 摘要：现有模型市场通常将单个模型作为不可分割的单位进行交易和选择，限制了其利用异构专家之间互补性的能力。本文提出一种基于 MoE 的模型市场框架，将 Mixture-of-Experts 从模型级学习架构提升为市场级协调机制。在该框架中，经纪商利用门控网络协调多个异构专家，并提供复合模型服务。我们形式化定义了市场参与者、服务流程、专家成本结构，以及将预测效用与异构执行成本相结合的福利目标。随后，我们推导出一种成本感知门控机制和面向市场的训练目标，并引入一种经成本调整的收益分配规则，根据实际专家参与情况和执行成本分配剩余收益。我们还建立了该分配规则的基本理论性质，包括预算平衡、参与单调性和成本敏感性。在十五个表格和图像基准数据集上，使用五个随机种子开展实验；实验采用独立训练且冻结的神经网络专家和基于树的专家，并结合由延迟推导出的执行成本。MoE Market 在全部十五个数据集上均取得最高平均福利，并且在每种情况下的平均预期成本都低于 Standard MoE，同时保持了具有竞争力的预测性能。收益分配实验进一步表明，该方法对专家参与度和成本具有系统性的敏感性，同时其计算开销显著低于精确 Shapley 分配。这些结果表明，MoE 可以作为协作式、成本感知且具有经济学基础的模型市场中的市场级协调原则。