可预测的性能并非最优：这对模型路由意味着什么

大语言模型（LLMs）在能力和成本上存在差异，因此催生了针对每个查询自适应选择模型的路由方法。这些方法依赖性能预测：给定一个查询，估计模型能否正确回答。大多数路由方法会单独训练预测器，预测候选模型的性能，以指导模型选择。我们的研究表明，只有当候选模型在任务上的表现并非最优，或性能预测器相较于候选模型增加了显著的容量时，性能预测才能优于一个简单的基线。具体而言，我们以模型的自身置信度（即模型赋予其所选答案的概率）为基线，研究性能预测器能在多大程度上超越这一基线。首先，我们证明，任何优于模型自身置信度的性能预测器都可用于降低模型的损失：通过重新校准，预测器的优势可以在对数损失上得到完全等量的转化。其次，在考虑预测器的额外参数后，我们证明，其优势的上界由模型偏离最优的程度与这些额外参数带来的增益之和决定。第三，我们将理论结果扩展到双模型级联，即当预测第一个模型将回答错误时，将查询路由至能力更强的模型。在四个基准上针对16个语言模型开展的实验表明，对于偏离最优程度更大的模型，预测器相较于自身置信度的优势更大。随着模型通过微调得到改进，这一优势会缩小。级联也呈现出相同的两种规律：对于偏离最优程度更大的模型，基于预测器的路由相较于基于置信度的路由带来的增益更大，而这些增益在微调后会减小。