潘多拉的 AI 模型路由盒：在价值估计成本高昂情况下的高效分配

由多个模型、架构、harness 或推理时设置组成的异构 AI 系统，可以通过将查询路由给能够以最低成本最有效回答的专家来提升质量和效率。路由需要估计每个专家的预期回报，但这种价值估计本身有成本。廉价估计器（例如基于嵌入的预测器）速度快但噪声大，而准确估计器（例如可访问检索结果或部分推理轨迹的微调模型）成本高昂。我们将这种权衡形式化为 Pandora's Box 的一个实例，即带有成本检查的最优搜索这一经典问题。在高斯信号模型下，所得策略具有闭式的信息价值表达式，可针对每个专家和输入判断是否值得为细化价值估计付出成本。我们将这种集中式策略称为 Pandora's Router。我们将其扩展到去中心化设置 Pandora's Bidder，其中专家在接受给定价格以认领查询之前，会独立决定是否投资于自我评估。跨三个领域的实验——标准多 LLM 基准、检索增强专家，以及具有可变推理时推理的 LLM——表明，Pandora's Router 能达到穷尽式估计的路由质量，同时调用昂贵估计器的频率要低得多。在去中心化设置中，当竞争性估计准确时，信息价值推理会提高分配效率；然而，当竞争性估计噪声较大时，它可能会以牺牲其他方为代价提高战略性专家的效用。