RetryRoute：面向智能体图像编辑服务的重试感知模型路由

arXiv:2610.41460v1 公告类型：新论文 摘要：Web 智能体越来越多地通过在评判与重试循环中调用开放图像编辑模型来编辑图像，而这些模型的成本差异超过一个数量级。每次编辑结果被否决后，服务都必须决定是重试同一模型、升级到另一模型，还是放弃。现有路由器为每个请求选择一个模型，级联系统则按固定顺序升级。然而，两者都将重试视为独立抽样。我们发现了黏滞性失败现象：在六个开放模型、三个基准和两个评判器上，失败后重试的成功率仅为首次尝试的 17%–53%。基于这一发现，我们提出 RetryRoute，一种重试感知路由器，可根据请求的失败历史估计各模型的成功概率。它基于失败状态规划重试、升级和放弃，并将实时队列等待时间计入成本，从而使同一规划转化为负载感知调度。在主要预算设置下，按照循环内评判器的评估，RetryRoute 的成功率在八组实验中平均比十一个既有基线中最强的一个高出 2.8 个百分点。在 GPU 服务测试平台上，相较于最佳既有基线，它在所有负载下均将服务级别目标时限内交付的编辑结果比例提高了 5.0–6.3 个百分点。