可预测的性能并非最优：对模型路由的启示

arXiv:2610.31428v1 公告类型：新论文 摘要：大语言模型（LLMs）在能力和成本上各有差异，这促使人们开发能够针对每个查询自适应选择模型的路由方法。这些方法依赖于性能预测：给定一个查询，估计模型能否正确回答。大多数路由方法会为候选模型分别训练性能预测器，以指导模型选择。我们的研究表明，只有当候选模型在任务上的表现并非最优，或者性能预测器相对于候选模型增加了显著的容量时，性能预测才能超越一个简单的基线。具体而言，我们以模型的自身置信度，即模型赋予其所选答案的概率，作为基线，并研究性能预测器相较于该基线能带来多大改进。首先，我们证明，任何优于模型自身置信度的性能预测器都可以用于降低模型的损失：通过重新校准，预测器的优势可以精确转化为对数损失的改善。其次，在考虑预测器额外参数的情况下，我们证明，其优势的上界为模型的次优程度与这些参数带来的增益之和。第三，我们将理论结果扩展至双模型级联系统：当预测第一个模型将回答失败时，系统会将查询路由至能力更强的模型。在四个基准上针对16个语言模型开展的实验表明，模型越偏离最优，预测器相对于自身置信度的优势就越大。随着模型通过微调得到改进，这种优势会缩小。级联系统也呈现出同样的两种规律：对于越偏离最优的模型，基于预测器的路由相较于基于置信度的路由带来的增益越大，而这些增益会在微调后减小。