CopRoute：面向语言模型的依赖感知保形路由

arXiv:2610.13276v1 公告类型：新论文 摘要：基于集合的语言模型路由旨在控制推理调用次数的同时，提高至少有一个模型正确回答查询这一事件的覆盖率。现有的风险受控路由策略通过校准单个保形阈值，并将其应用于一组嵌套的模型集合，来约束全部失败风险（即所选集合中所有模型均回答失败的概率）。由于每个模型都被单独评分，这些策略忽略了模型失败之间的依赖结构。共享训练数据或架构的模型往往会在相同查询上失败，因此，两个单独表现很强的模型在组合使用时可能存在冗余，而一个较弱但具有互补性的模型却能覆盖其他模型无法正确回答的查询。为考虑这种被现有风险受控策略忽略的依赖关系，我们提出了 CopRoute。它根据每个模型相对于已选模型能够额外正确回答多少查询来对模型排序，针对每个查询决定沿该顺序选择到什么位置，然后选取仍能满足目标风险的最小截断点。我们证明，在设计数据上，CopRoute 的排序对于找到首个正确回答模型所需的平均调用次数，达到了任何高效固定排序算法所能提供的最佳保证；同时，一个独立的校准步骤可为部署时所选模型集合的全部失败风险提供认证。在 RouterBench 和 RouterEval 上，目标风险为 0.05 时，CopRoute 在十个数据集中的九个上实现了最少的经认证调用次数；目标风险为 0.10 时，则在十个数据集中的八个上实现了这一结果。在相同的经认证全部失败风险下，与最先进的风险受控策略相比，其调用次数最多减少 79%，中位数降幅为 24%。