运行框架演进触及上限：何时应开始权重训练

arXiv:2610.11655v1 公告类型：cross 摘要：要改进一个长时程 LLM agent，可以演进围绕冻结模型的运行框架，也可以训练模型权重。我们先让自演进运行框架增强系统，然后将初始运行框架和演进后的运行框架分别与基础权重和训练后权重交叉组合，以了解训练后的模型保留了哪些增益，以及哪些增益仍然需要运行时支持。我们发现，可以从 agent 的失败构成中判断应采取哪种正确手段：按照最先触发的信号标记失败轨迹，可以将过程失败（调用受阻、循环、步骤预算耗尽）与内容失败（已交付的计划质量不佳）区分开来。运行框架演进能够修复前者，它引入的行为可以训练进权重，而内容失败正是权重训练要解决的问题。在 DeepPlanning 上，自演进运行框架循环将 Qwen3.5-4B 的留出集得分从 0.16 提升至 0.30，将 Qwen3.5-9B 的留出集得分从 0.32 提升至 0.44；对于 4B，留出集交付率从 55% 上升到 90%，而内容失败则留待权重处理。在演进后运行框架的轨迹上训练的 LoRA 适配器能够将这一增益内化：在原始运行框架下，两种规模的模型在留出任务上均增加了 +0.13；对于 4B，适配器与运行框架叠加后，留出集得分提升至原来的两倍以上；对于 9B，仅使用适配器就能达到完整演进流程的效果，并将内容失败率从四分之一的轨迹降至二十分之一。使用答案打乱后的轨迹训练的安慰剂适配器，其表现低于基础模型。该循环还迁移到了 WebArena-Lite（在 117 个未见任务上提升 +0.09），其中增益来自模型所看到的内容，适配器不会进一步增加这一增益。其结论是一条应用两次的“先诊断、后干预”规则：先读取失败构成，在运行框架与权重之间进行选择；然后查看已接受的编辑改变了什么，以决定训练哪些增益。除非特别标注，分数均为针对新鲜锚点进行四次 rollout 的平均值，且在同一晚完成评测；实验涵盖来自六个模型家族的八个模型和两个基准。