选哪个 LLM？大型语言模型的在线主动模型选择

arXiv:2610.01592v1 公告类型：cross 摘要：大型语言模型（LLM）正越来越多地用于处理流式数据，尽管基准测试结果只能近似反映实际性能，实践者仍依赖这些信号来选择最佳模型。虽然预言机标注能够提供可靠的反馈，但通常成本高昂，且难以大规模获取。为应对这一挑战，我们提出 ONLINE LLM PICKER，这是首个面向在线场景的 LLM 主动模型选择框架。给定任意查询流和有限的标注预算，ONLINE LLM PICKER 会选择信息量最大的提示词进行标注，以便从候选模型中识别最佳 LLM。在涵盖 10 个数据集的多项任务中，针对超过 130 个语言模型，我们表明 ONLINE LLM PICKER 最多可节省 71.67% 的标注成本，同时能够可靠地为该数据流识别出最佳或接近最佳的模型。我们还表明，在数据流中未标注的提示词上进行序列生成时，使用返回的模型可将遗憾最多降低至原来的 1/2.51，这表明 ONLINE LLM PICKER 无需处理完所有流式提示词，就能在很早阶段识别出最佳或接近最佳的模型。