共同演化 Harnesses 与 Models:On-Policy Correction 帮助较弱模型在 Imitation 失效之处迎头赶上
Co-Evolving Harnesses and Models: On-Policy Correction Helps Weaker Models Catch Up Where Imitation Fails
精选理由
新颖度 86 / 深度 84,来自 arXiv cs.AI。
AI 摘要
Agent harnesses(围绕模型的 system prompt、tool set、execution hooks 和 context-management scaffolding)是决定 agentic 任务成功的关键因素。自动化 harness 演化可以使较小模型以 frontier-model 成本的一小部分在特定领域任务上表现良好。由于 harness 和模型权重都会塑造行为,我们探讨应如何结合 harness 演化与轻量级 fine-tuning。在七项企业 agent 任务中,我们首先使用较弱模型演化出一个 harness,随后发现更强的 expert 往往能更有效地使用它,这表明 expert 监督可能弥合剩余差距。然而,在演化后的 harness 下用 expert 的完整轨迹训练较弱模型会适得其反:在 Qwen3-Coder 和 Gemma 4 上,七项任务的性能全部回退 4 到 30 个点,尽管同样的流程在未演化的 harness 下是有帮助的。我们的分析表明,imitation 会迁移知识并增加 scaffold 使用,但会破坏模型-harness 适配:较弱模型采用了 expert 的规划策略,却不具备执行该策略的能力,并且不再匹配围绕其原生规划风格演化出的 harness。因此,我们开发了一条 on-policy expert-correction 流程,由一个元层级 MLE agent 自动化执行;该流程会定位较弱模型自身 rollout 中失败的 turn,并要求 expert 仅重写该 turn。这保留了模型的规划风格,并结合了 harness 演化与模型适应的收益。我们的结果识别并解决了 harness 与权重更新之间的一种冲突来源,为特定领域企业任务上的经济型共同演化提供了一种保持兼容性的方案。