AgentFactory：迈向自动化智能体系统设计与优化

大型语言模型（LLMs）作为智能体系统中的强大组件，已展现出卓越能力，能够支持复杂推理和复杂任务执行。然而，当前对智能体系统进行手工设计和优化的方法高度依赖人工投入，限制了其适应性和可扩展性。近期工作探索了工作流设计的自动化优化。然而，这些方法往往忽视模型能力的关键作用，并且只关注单一性能指标，未能处理真实世界的部署约束。在本文中，我们提出 AgentFactory，这是一个在优化智能体系统中的基础模型和工作流结构的同时，综合考虑性能、成本和效率等多个目标的框架。AgentFactory 利用先进的 LLMs 作为优化器来搜索可能配置的巨大空间，并采用三阶段优化流水线自动发现微调模型与优化工作流的有效组合。通过迭代优化过程，我们的框架系统地探索和评估不同的智能体系统设计，在保持运行效率的同时，针对特定任务需求进行自适应调整。我们在涵盖五个领域的八个基准上评估了 AgentFactory，包括通用推理、代码、数学、医学和金融。实验结果表明，AgentFactory 始终优于手工设计的方法和现有自动化方法，在所有基准上平均提升 9.1%，在领域特定任务上取得了尤为显著的提升（MedQA 上提升 19.6%，FinEval 上提升 18.7%）。这些结果表明，AgentFactory 是一种通过自动化优化开发更强大、更高效智能体系统的有前景的方法。