是诱导还是扩展？揭示智能体工具框架优化所带来的收益

arXiv:2610.27889v1 公告类型：新 摘要：近期关于工具框架优化的研究表明，无需更新模型权重，语言模型智能体的性能也能获得显著提升。设计良好的工具框架能够通过塑造上下文、工具使用方式和执行流程，更有效地发挥底层模型的能力。然而，仅凭朴素的成功率，无法充分说明优化后的工具框架究竟是在已经触及的任务上实现更可靠的成功（诱导），还是扩大了可解决任务的范围（扩展）。这一点对于递归式自我改进和进化搜索至关重要，因为扩展能够提供更广泛的成功经验，从而推动能力边界不断拓展。尽管这一问题日益重要，但工具框架优化领域对这一区分的研究仍然不足。我们开展了系统性分析，以研究工具框架优化所带来收益的影响。我们借鉴强化学习（RL）文献中的 pass@k 分析——该分析用于比较模型在 RL 训练前后的表现——将优化后的工具框架与其优化前的版本进行比较。具体而言，我们评估可达任务覆盖范围的变化，将工具框架优化与模型扩展及增加推理时计算量进行比较，并考察收益如何随任务难度变化。在静态预测任务和动态任务中，我们发现，与更强干预方法相比，工具框架在 pass@1 上的优势可能会在更大的尝试预算下反转；同时，汇总后的收益会掩盖其在困难任务上的不足，这凸显了进行细粒度诊断的必要性。