编码智能体的 Harness 设计实证研究

编码 harness 影响着自主编码智能体如何将模型能力转化为长周期软件工程性能，但现有工作通常将 harness 作为单体系统进行评估，使得各个组件的有效性尚不清楚。为支持组件级比较，我们使用一个轻量级编码 harness 研究这一问题，其执行循环保持固定，同时改变三个组件：规划、动作空间和上下文管理。我们在 SWE-Bench Verified 和 Terminal-Bench 2.1 上评估了四个模型，共评估 176 组匹配设置，涵盖五种上下文管理策略、四种上下文窗口预算，以及针对规划和动作空间的定向消融。我们发现：（1）随着上下文窗口预算收紧，上下文管理变得越来越有价值，其大部分收益来自防止上下文溢出失败。（2）在 LLM 基于总结之前先进行基于规则的省略，在上下文管理策略中提供了最强的整体效率；而使被省略内容可恢复会增加机制复杂度，但模型很少使用，且不会带来准确率提升。（3）规划从较弱模型的准确率支架，转变为较强模型的成本节省手段，而准确率几乎没有变化。（4）预定义工具能够提升 bash 熟练度较弱的模型的性能，而具备 bash 能力的模型可以仅通过 bash 接口有效运行，并实现显著更低的成本，尤其是在以命令行为中心的任务上。轨迹级分析解释了这些效果：上下文管理延长了执行轨迹，而不会显著改变智能体行为；规划改变了轨迹停止的位置；动作空间改变了代码编写的粒度。这些发现为面向模型和预算的 harness 设计提供了参考，并为评估未来 harness 组件提供了模块化框架。