学习可靠推理的成本

基准测试和路由平台日益充当连接大型语言模型提供商与终端用户的中介。然而，这些平台上的提供商通常采用固定的每令牌价格，使用户无法为其任务获得最具竞争力的价格。% 工作负载。在本文中，我们设计了一个采购平台，其中每项任务的令牌价格由提供商之间的竞争决定，从而使用户能够为有保障的质量水平争取具有竞争力的价格。为此，该平台通过反向二价拍卖依次路由查询，激励模型提供商如实竞标其对服务用户查询平均成本的最佳估计。随着查询的路由，该平台会学习每个提供商所能提供的质量，并逐步将查询路由至满足期望质量阈值的提供商中成本最具竞争力的提供商。为验证我们的设计，我们使用来自 \texttt{Llama} 和 \texttt{Qwen} 系列的多个 LLM，在广受欢迎的数学推理和问答基准测试上开展实验。结果表明，在我们的平台上，成本最具竞争力的提供商的定价差额会因任务和质量阈值的不同而显著变化——从 $10\%$ 到 $71\%$ 不等。这表明当前固定价格市场存在相当大的低效，同时也说明，只要市场条件允许形成竞争，我们的平台就能帮助用户获得最大程度的节省。