路径预算约束下的 LLM 路由：基于 K 比特尾部成本学习的在线分配

arXiv:2611.05835v1 公告类型：新论文 摘要：在固定预算下使用大语言模型的企业，必须决定调用哪个模型，以及是否重试失败的任务。由于调用费用只有在完成后才会揭晓，一次冗长的响应就可能耗尽剩余预算，导致后续任务无法获得服务。我们的目标是最大化服务停止前解决的任务数量。我们提出了一种上下文多臂老虎机策略 ADP-HT，它学习每个模型针对不同任务的成功概率，并利用包含 $2^K$ 个区间的分位数网格上粗粒度的响应长度标签，构建保守的成本估计。该策略权衡预测成功率与这些成本，并根据实际支出和每个剩余任务可用的预算调整成本惩罚。在满足校准、局部正则性和网格覆盖条件时，我们给出了该策略保守成本估计中额外裕量的界。在样本量固定时，增大 $K$ 会减小离散化项，但会增大估计裕量。在测试中最紧张的预算条件下，ADP-HT 解决的 MATH500 和 GPQA 任务数量超过已实现的最佳基线的两倍。在 RouterBench 的十四种预算设置中，它在十种设置下取得了最高的平均累积分数。在 LiveCodeBench 上，在三个最低测试预算下，无论是默认模式还是节省成本模式，它的表现都优于一个已部署的商业路由器。