瓶中智能体：LLM 智能体能否将自身能力转化为廉价、可扩展的产物？

大型语言模型（LLM）能够解决许多狭窄领域的任务，但对于数百万个相关实例分别进行查询，成本可能高得令人难以承受。LLM 智能体能否自主地为这类工作负载创建更廉价的解决方案？我们将这种能力称为“装瓶”：将通用能力转化为特定任务解决方案的能力，同时平衡答案质量与摊销成本。我们提出了 BOTTLED 基准测试：智能体会接收到一个完整的未标注工作负载，并必须在固定的时间、计算资源和 LLM API 预算内完成任务。智能体可以自行选择方法，例如训练一个小型模型或编写可复用的程序。在十个模型和三个任务上的实验表明，强大的零样本任务性能并不能稳定地转化为强大的装瓶能力。零样本得分相近的模型，在完成装瓶后可能表现出显著差异；60 次装瓶运行中有 48 次的得分低于其对应模型零样本性能95%置信区间的下界。此外，在相同 token 预算下，60 次运行中有 31 次的表现不及两个小模型蒸馏基线中较强的那个。尽管如此，装瓶仍能带来可观的节省：在查询-产品相关性分类任务上，Opus 5 以报告成本约低657倍的代价，保留了其零样本 macro-F1 的约82%。装瓶的表现也具有竞争力：Jev 是专为廉价、重复性推理而构建的“系统一”模型；在相同任务上，Opus 5 以 Jev 预计完整工作负载成本的四分之一，达到了 Jev 约94%的 macro-F1。BOTTLED 为评估和提升智能体将有限资源投入可复用解决方案的能力提供了基础，使其能够应对规模庞大且重复性高的工作负载。