面向成本感知的多轮 LLM 路由的响应信息价值估计

arXiv:2610.23239v1 公告类型：新增 摘要：多轮 LLM 路由在每一轮响应可用之前就选择模型，但任务是否成功只有在交互结束时才会揭晓，因此每次中间选择都没有单独的标签。然而，记录的轨迹保留了每次调用产生的响应，从而揭示了每一轮的需求以及所选模型满足这些需求的程度，而这些证据仅凭最终结果是无法体现的。我们提出 RIVET（Response-Informed Value Estimation for Turn-Level Routing），在训练期间利用这些调用后的证据，同时确保部署时的路由严格发生在调用之前。RIVET 基于共享的状态-模型表示，联合训练两个价值估计器：一个是可部署的路由价值估计器，根据调用前信息对候选模型进行评分；另一个是仅用于训练的响应信息价值估计器，后者还会观察实际产生的响应。以响应为条件，可以将由响应引起的回报变化从残差噪声转变为可观测协变量；我们证明，这能够降低共享表示的主要渐近估计误差。在 MINT 基准测试中，RIVET 解决的留出任务数量超过了最强的多轮基线，同时总调用成本降低了 74.7%。