JOVE：面向资源感知型 LLM 任务图的联合执行与验证

arXiv:2610.03296v1 公告类型：cross 摘要：复杂推理查询可以分解为有向无环任务图，并分配给异构 LLM，通过并行处理降低延迟，使较小的模型也能解决复杂任务。然而在实践中，LLM 是否适合执行给定子任务通常事先未知，而仅执行任务无法揭示输出是否正确。我们提出 JOVE，这是一种在线框架，能够联合分配执行器 LLM，并选择中间输出进行付费验证。验证异步进行，并用于改进后续分配，因此系统必须在当前执行上的支出与为未来学习所投入的成本之间取得平衡。我们研究了在长期预算和单次查询延迟约束下，如何优化这一权衡；其中 LLM 服务质量、调用成本和执行时间具有随机性且初始未知。JOVE 通过依次求解每次查询对应的混合整数线性规划来作出执行和验证决策。在线学习根据验证反馈更新与任务相关的 LLM 质量估计，同时通过信息增益奖励将学习价值纳入分配决策。在一组自然假设下，我们证明了 JOVE 的质量学习遗憾为次线性。在四个推理基准上，与标准推理基线相比，JOVE 在准确率方面具有竞争力，同时将平均成本和延迟至少降低了 3.17 倍。