多智能体系统的动态专家剪枝

arXiv:2610.02951v1 公告类型：新 摘要：混合专家（MoE）架构通过为每个 token 仅激活少数专家来高效扩展语言模型，但节省仅限于计算：每个专家都必须常驻加速器，因此内存限制了这些模型的部署范围。专家剪枝可以减少这一占用，但现有方法都是静态的——离线校准得到的单个掩码会应用于之后的每个请求。当工作负载具有异构性时，这一假设可能失效；在多智能体系统中尤其如此，因为同一个骨干模型会同时服务于许多任务和角色：我们的分析表明，不同任务和角色会调用不同的专家，而静态方法却为所有任务和角色分配同一个固定子集。因此，我们提出动态专家剪枝（Dynamic Expert Pruning，DEP）。该方法建立在本文提出的一项发现之上：智能体的系统提示和任务提示本身就足以识别该智能体及其任务所需的专家，因为这些文本已经描述了智能体将要执行的工作。一个仅需训练一次、基于工作流记录训练的轻量级预测器，可以在单次前向传播中将这些提示转换为针对每个请求的专用掩码，无需针对每种配置进行校准。在多种任务和角色、不同模型规模及 MoE 架构上，DEP 的整体准确率均优于静态剪枝和合并基线；此外，无需重新训练，它还能泛化到训练过程中未见过的工作流。当保留的专家较少时，DEP 相对于这些基线的优势最大，这表明多智能体系统固有的角色专业化特性能够支持比静态剪枝所允许的更稀疏的服务方式。