EvoHarness-RL：学习面向自演化智能体的运行时支撑框架协同

arXiv:2608.05446v2 公告类型：替换 摘要：长时程 LLM 智能体日益依赖外部执行支持，以在持续交互中维护状态、跟踪进展、从失败中恢复并复用经验。然而，现有支撑框架及其使用方式通常针对特定环境定制，并通过提示、启发式方法或系统专用规则加以控制，因而难以对智能体与支撑框架之间的协同进行联合优化。我们提出 EvoHarness-RL，这是一个将环境特定的支撑框架实现与共享的策略接口分离的统一框架。EvoHarness-RL 将外部支持组织为信念、进展与经验（BPE）工作空间，并提供四种精简的支撑框架动作，用于访问和更新这一状态。我们首先将 BPE 实现为推理时的辅助支架，随后通过监督初始化和成本感知的 GRPO，使支撑框架协同成为可学习的能力。在多种异构长时程任务上，EvoHarness-Base 将前沿模型的平均成功率提高了 10.0 个百分点，而 EvoHarness-RL 比最强的开源基线高出 8.5 个百分点，同时实现了更高的 RL 轨迹采样效率，以及对未见任务更强的泛化能力。我们的分析表明，随着策略能力增强，训练会逐步推动智能体从频繁使用辅助支架转向根据环境有选择地访问支撑框架，而外部工作空间则持续演化并自我完善，以更好地支持任务执行与泛化。总体而言，这些结果表明，长时程智能体不仅受益于外部辅助支架本身，也受益于将如何以及何时与外部支持协同纳入成本感知策略进行学习。