SLIM：单纯形-晶格插值合并

arXiv:2610.01037v1 公告类型：新论文 摘要：优化大型语言模型的合并系数可能需要进行许多代价高昂的基准评估。我们提出 \textbf{Simplex-Lattice Interpolation Merging (SLIM)}，利用经典混合设计，在系数单纯形上构建总体性能的二次代理模型。对单个专家模型和等权重模型对进行评估，即可用确定该域上一般二次函数所需的最少测量次数确定该代理模型。随后，SLIM 在无需进一步评估目标指标的情况下优化该代理模型。在两种模型架构上的实验表明，该方法能够准确预测未见过的多专家混合结果，并在有限评估预算下实现具有竞争力的合并性能。在相同预算下的比较显示，与随机设计（包括采用正则化拟合的随机设计）相比，结构化评估点能够提高预测保真度。