VERSE：面向智能体运行框架的可验证自演化优化器

arXiv:2610.02616v1 公告类型：cross 摘要：运行框架演化能够改进 LLM 智能体的提示词、工具和工作流程，但优化器自身的工具和流程通常保持不变。我们研究了这样一个问题：如果优化器同时改进其诊断故障、制定修改方案和测试修改效果的方式，它是否能更有效地改进另一个智能体。我们的设计基于两点观察。在一项受控研究中，如果没有基于执行的验证，优化器自演化无法提升性能；但在具备验证能力时，它取得了该研究中的最佳结果。在五个执行器上，自演化优化器为故障分析、验证、训练审计和工作流控制构建了自己的工具。受这些发现启发，我们提出了 VERSE，一种面向智能体运行框架的可验证自演化优化器。VERSE 允许优化器在提交前测试草拟的修改、重放故障，并扰动疑似出错的步骤，同时跨多个轮次跟踪修复和回归问题。利用这些反馈，优化器会同时修订执行器运行框架及其自身的提示词、技能、工具、钩子和笔记，而优化器模型与执行器模型的权重保持不变。在训练、验证和测试任务互不重叠的共享协议下，VERSE 在留出的 SWE-rebench 任务以及五种语言中的更新分布外任务上，提升了评估的全部四种运行框架优化器的表现。通过验证集选出的最佳运行框架在这两类任务上的准确率分别达到 42.3% 和 37.7%，而最强基线分别为 39.2% 和 29.3%。代码可从 https://github.com/wzekai/VERSE 获取。