面向本地部署检索增强型工厂智能体的基于测量的子网络选择

本地部署助手可以让工厂工人通过对话访问机器文档，但能够胜任该任务的模型很少能适配车间硬件。我们表明，在结构压缩和基于检索的适配之后，模型规模不再是适配后答案质量的可靠预测指标：通用能力几乎随参数量线性下降，而经评估的检索增强答案质量却不是如此。因此，我们将部署视为一个适配后的选择问题，在可配置的通用能力下限和内存预算下，依据经评估的答案质量与实测的设备端吞吐量，为每台设备确定一个子网络；仅优化规模、速度或质量的规则都会牺牲能力或吞吐量。采用 sandwich-style in-place distillation 的共享权重 supernetwork 使这一选择保持低成本。在一个制造手册案例研究中，提取仅达到未剪枝模型经评估质量的13.7%，而检索引导的蒸馏将其恢复到仅低4.6%的水平，挽回了三分之二的损失，而且同一个助手还能在三层异构边缘设备上运行，待机功耗为1.3到5瓦。