ORACLE：通过自适应验证器校准反馈进行智能体 AI 编排路由

arXiv:2607.22465v4 公告类型：replace-cross 摘要：现代企业级智能体部署由具有不同能力和成本的大型语言模型（LLM）异构池组成。现有的模型路由策略优化质量与成本之间的权衡，同时针对请求级别提供静态决策。较新的解决方案则将智能体路由视为任务级选择，并采用带有串行验证器的路由器反馈循环。然而，适用于同质工作负载的固定验证器可能无法泛化到异构的智能体任务批次（例如编程任务和通用对话任务）。此外，由于验证器位于反馈循环的关键路径上，在同时进行多个请求路由时，服务质量可能会受到影响。为缓解这些问题，我们提出了 ORACLE。这是一种具备并发感知能力的在线路由机制，将自适应路由与自适应验证相结合，以提供反馈。ORACLE 无需训练，可作为“反馈循环”即插即用地叠加在任意模型选择策略之上，首先对任务类型进行分类，然后动态分配适合任务的验证器。此外，我们针对并发请求开发了一种延迟反馈策略，大幅消除了验证器延迟对分发关键路径的影响。随后，我们提出了一种路由后分发调度器，即 DISC。DISC 在接纳任务时预留每个任务的峰值 KV 占用，并在减少等待时间带来的奖励增益超过准确率降低带来的奖励损失时，将任务分发到备用后端。在 SWE-bench、tau2-bench 和 Terminal-Bench 2.0 上进行的大量评估表明，与最先进的路由基线相比，ORACLE 可将准确率—成本前沿最多提升 7 个百分点；而 ORACLE 结合 DISC 后，可将程序吞吐量最多提升 1.8 倍。为促进可复现性并支持未来开发，我们在 https://github.com/ORACLE-org/ORACLE 开源了 ORACLE 的代码库。