EnvOpt:智能体环境的自动化优化
EnvOpt: Automated Optimization for Agent Environments
精选理由
提出无需标准答案的环境自动优化方法,显著降低智能体成本并提升成功率,且可迁移至不同模型与工具链。
AI 摘要
LLM 智能体的成本和成功率取决于其模型、运行框架及环境。除了已被广泛研究的参数调优和运行框架优化方向,我们提出第三个方向:对固定环境进行优化。智能体通常部署在由多个任务共享的丰富环境中,例如公司的 Slack 工作区,或由数据源、文档或工单构成的复杂集合。我们将这类环境称为固定环境。我们提出 EnvOpt,这是一种针对任意给定模型和运行框架,利用真实或合成任务对固定环境进行自动化端到端优化的方法,无需任何评分器或参考答案。在 AutomationBench 上,EnvOpt 将 Claude Haiku 4.5 的成本降低了 72.7%,并将其通过率提高了 14.34%。同一环境可迁移至 Opus 5,使其成本降低 68.1%,通过率提高 1.34%。在 Meta-Harness 为 Haiku 4.5 优化的运行框架基础上叠加 EnvOpt,相较于仅使用 Meta-Harness,成本进一步降低了 83.4%,准确率提高了 11.17%。在 5 项基准测试中,EnvOpt 在提高或保持通过率的同时显著降低了智能体的成本,并且可迁移至不同模型和不同运行框架。我们还讨论了自动化优化过程中常见的成功及被否决的环境优化策略。更广泛地说,我们的结果表明,向智能体呈现信息的方式会同时影响其成本和成功率,因此,除参数和运行框架外,环境也值得优化。