JOVE：面向资源感知型 LLM 任务图的联合执行与验证

复杂推理查询可以分解为有向无环任务图，并分布到异构 LLM 上，通过并行处理降低延迟，使规模更小的模型也能解决复杂任务。然而在实践中，某个 LLM 是否适合给定子任务往往无法事先确定，仅执行任务也无法揭示输出是否正确。我们提出 JOVE，一种在线框架，用于联合分配执行器 LLM，并选择中间输出进行付费验证。验证异步进行，并用于改进后续分配，因此系统必须在当前执行上的支出与为未来学习之间取得平衡。我们研究了在长期预算和单次查询延迟约束下，如何优化这一权衡；其中 LLM 服务质量、调用成本和执行时间具有随机性，且初始未知。JOVE 通过依次求解每次查询的混合整数线性规划来作出执行与验证决策。在线学习根据验证反馈更新面向任务的 LLM 质量估计，同时通过信息增益奖励将学习价值纳入分配决策。在一组自然假设下，我们证明了 JOVE 的质量学习遗憾为次线性。在四个推理基准上，与标准推理基线相比，JOVE 在保持具有竞争力的准确率的同时，将平均成本和延迟至少降低了 3.17 倍。