运行框架演化触及上限:何时应开始训练权重
Harness Evolution Hits a Ceiling: When Weight Training Should Begin
精选理由
深度 96 / 可操作性 88,来自 arXiv cs.AI。
AI 摘要
要提升长时程 LLM agent,可以围绕冻结模型演化运行框架,也可以训练模型权重。我们先让自演化运行框架增强系统,再将初始和演化后的运行框架分别与基础权重和训练后权重组合,以了解训练后的模型保留了哪些增益,以及哪些增益仍然依赖运行时环境。我们发现,可以从 agent 的失败构成中判断应采取哪种手段:按照失败轨迹中最先触发的信号进行标注,可以将过程失败(调用受阻、循环、步骤预算耗尽)与内容失败(计划已交付但质量较差)区分开来。运行框架演化能够修复前者;它塑造的行为可以训练进权重;而内容失败正是权重训练要解决的问题。在 DeepPlanning 上,自演化运行框架循环将 Qwen3.5-4B 的留出集得分从 0.16 提升至 0.30,将 Qwen3.5-9B 的得分从 0.32 提升至 0.44;对于 4B,留出集交付率从 55% 提升至 90%,而内容失败则留待权重处理。在演化运行框架轨迹上训练的 LoRA 适配器能够将这一增益内化:在原始运行框架下,两种规模的模型在留出任务上都额外提升 +0.13;对于 4B,适配器与运行框架结合后,留出集得分提高到原来的两倍以上;对于 9B,仅使用适配器就能达到完整演化流程的效果,并将内容失败率从四分之一的轨迹降至二十分之一。一个在答案打乱后的轨迹上训练的安慰剂适配器,其表现低于基础模型。该循环还迁移到了 WebArena-Lite(在 117 个未见任务上提升 +0.09),其中增益来自模型所看到的内容,适配器无法进一步增加这一增益。由此得到一条两次应用的“先诊断、后干预”规则:先读取失败构成,在运行框架与权重之间做出选择;再观察被接受的编辑改变了什么,以决定应将哪些增益训练进模型。得分是相对于新锚点进行的四次 rollout 均值;除特别标注者外,评测均在同一晚完成,覆盖来自六个模型家族的八个模型和两个基准测试。