智能体式 LLM 如何决定调用工具？由抑制作用塑造的工具调用向量

arXiv:2610.09624v1 公告类型：交叉收录 摘要：工具调用，即按需调用外部工具，是智能体式 LLM 的核心能力，但决定模型是调用工具还是直接作答的机制仍不清楚。智能体提示通常很长，且包含大量框架性内容，将角色指令、工具模式、格式模板和用户请求组合在数百个 token 中，形成噪声繁多、高度纠缠的上下文，其中没有显而易见的、可用于机制分析的单一可控变量。为获得这样的变量，我们提出一种方法，将复杂的智能体提示转化为最小对照提示对，其中仅一个请求动词就能决定是否调用工具：将执行类动词（例如“编写”）替换为分析类动词（例如“讨论”），能够可靠地翻转这一决策，表明该决策由一种紧凑的内部状态所介导。我们围绕 Python、Java 和 C++ 构建了 500 组这样的配对提示（300 组用于机制分析，200 组留出用于评估）。我们将这一决策追溯到向量 $\mu_\Delta$，该向量在因果上既是必要的，也是充分的，并且能够泛化到发现阶段所用提示之外的原生多轮 $\tau^2$-Bench 轨迹和不含动词的请求。行为消融实验表明，框架性内容建立了工具调用先验；随后，Transcoder 分解揭示，分析类动词通过表明无需使用工具的特征来抑制这一先验，而执行类动词则基本使其保持不变。下游读取框架性内容的注意力头和 MLP 特征读取由此形成的状态，而同一机制在 Qwen、Mistral 和 Granite 系列的七个模型中反复出现。我们的代码已公开于 https://github.com/XijieGo/MI4ToolCalling。