FlexiFlow：ML 工作流中的基于多臂老虎机的模型切换

arXiv:2610.07286v1 公告类型：新 摘要：模型优化有助于提升 ML 工作流的推理性能和准确率。然而，在所有数据批次上依赖单一模型进行推理，往往无法最大限度地提高准确率，进而无法最大化整体性能。在许多情况下，对于主模型表现欠佳的特定数据子集，其他模型可能表现更好。我们在真实 ML 工作流中的实验确实表明，切换模型可将工作流准确率提高至多 23%。然而，现有系统缺乏根据性能在模型之间自适应切换的能力，迫使用户按顺序手动测试模型。我们提出了 FlexiFlow，这是一种数据流系统，能够在当前模型表现出较低准确率时动态切换到其他模型。FlexiFlow 采用一种新颖的多臂老虎机方法对模型进行排序，该方法综合考虑模型运行时间、通过用户定义断言的概率以及 ML 工作流的计算结构。我们表明，标准的 Thompson sampling 方法不足以支持 ML 工作流中的模型切换。相比之下，我们提出的方法能够有效应对复杂的现实世界 ML 工作流，并具备良好的扩展性。实验表明，在运行时切换模型并复用中间结果，不仅能够提高准确率，还能相比顺序运行工作流提升 48% 的效率。