arXiv cs.AI精选79

StarHarness:利用分层搜索演化面向企业环境的代理执行框架

StarHarness: Evolving Harnesses with Stratified Search for Enterprise Environments

· 49天前

精选理由

揭示如何进化代理框架以显著提升企业任务表现与泛化。

AI 摘要

我们提出 StarHarness,这是一个在保持模型权重固定的同时,为特定环境演化代理执行框架的框架。演化后的框架可以包含提示与任务表述、工具接口、技能、由 MCP 支持的提供方、子代理结构以及代理循环配置。StarHarness 通过根据基线失败行为对任务进行分层来构建一个紧凑的演化池,将提议者可见的搜索任务与提议者不可见的选择任务分离,并保留留出任务用于评估泛化能力。在 ITBench SRE、EnterpriseOps-Gym ITSM 和 AutomationBench Finance 上,在每个环境接受 4-12 项更改后,框架演化使完整基准性能相较默认框架提升了 20-35 个百分点。这些提升在未参与演化的任务上依然存在,并且无需重新演化即可在 GPT 和 Qwen 模型家族之间迁移。轨迹分析将这些改进归因于接口修复、环境约定以及压缩搜索空间的运维知识;在若干设置中,这还带来了更少的假阳性诊断和更短的执行轨迹。因此,StarHarness 提供了一种实用方法,用于减少工具丰富的企业任务中持续存在的模型与环境不匹配。

查看原文(arXiv cs.AI)