训练小型语言模型以实现可迁移的工具选择
Training Small Language Models for Transferable Tool Selection
精选理由
展示了如何训练小型开源模型精准选择工具,并迁移到不同检索器与领域,降低智能体工具调用门槛。
AI 摘要
arXiv:2610.31483v1 公告类型:新论文 摘要:当 LLM 智能体需要在包含一万多个工具的工具库中开展工作时,为复杂的多步骤用户指令选择合适的工具便成为一个关键瓶颈。所有工具描述无法全部容纳于上下文中,而基于相关性的检索器只能对工具进行排序,却不知道实际需要哪些工具。近期研究转而利用 Claude 或 ChatGPT 等专有商业 LLM 来驱动检索器,将指令分解,并从检索到的候选工具中进行选择。我们表明,可以通过强化学习训练一个小型开放模型,使其实现相同的功能。在 ToolBench 上,使用我们的方法进行后训练的 Qwen3-8B 模型优于 Llama-4-Maverick(402B)。此外,训练后的模型能够直接迁移到不同的检索器,并泛化到不同领域的新工具库。