GUI-HARVEST：通过证据驱动的工具链演化实现自我改进的 GUI 智能体

arXiv:2610.00948v1 公告类型：新 摘要：GUI 模型周围的可执行工具链决定了如何组织观测、执行动作，以及控制验证、恢复和终止。与非 GUI 智能体的工具链优化相比，自动优化这一工具链面临三个相互耦合的挑战：协调模型意图与观测到的视觉效果；在执行结果具有变化性的情况下诊断失败；识别跨任务反复出现的失败模式，并将其转化为可复用的运行时修改。我们提出 GUI-HARVEST，这是一种自动工具链优化器，可在骨干模型冻结的情况下实现自我改进的 GUI 智能体。首先，为使诊断以观测到的动作效果为依据，它将模型输出和已执行的动作与前后截图对齐，把发现的问题关联到具体的界面转换。其次，为应对执行变化性，它将同一任务的多次运行视为一个联合证据单元，通过任务内比较定位与结果相关的行为差异。第三，它汇总跨任务验证过的发现，形成反复出现的失败模式，将其映射为有界的源代码修改，并在评估前记录预测结果；随后通过重复执行，在任务性能之外检验预测的行为影响。在 OSWorld-Verified 上的实验表明，GUI-HARVEST 在六个通用开源、GUI 专用开源及专有骨干模型上均取得了稳定的留出集提升；Qwen3-VL-32B-Instruct 在完整测试套件上的得分提升了 12.33 个百分点。在无需进一步优化的情况下，冻结工具链迁移使 GPT-5 在 50 步限制下于 WindowsAgentArena 上提升了 13.87 个百分点。在使用相同骨干模型和初始工具链的条件下，GUI-HARVEST 的表现优于 Self-Harness 和 Meta-Harness，这表明面向 GUI 的诊断与验证有助于使工具链改进泛化到未见任务。代码可在 https://github.com/GaryYang12345/GUI-HARVEST 获取。