arXiv cs.AI精选79

内置路由器:从冻结的 LLM 中诱导原生技能路由

The Router Within: Eliciting Native Skill Routing from a Frozen LLM

· 29天前

精选理由

深度 91 / 新颖度 88,来自 arXiv cs.AI。

AI 摘要

技能使 LLM 智能体的能力超越其参数化知识,而这种能力提升取决于能否选对技能。已部署的工具框架会将每项技能的元数据预先加载到上下文中,这会分散智能体的注意力,并限制技能库的规模。检索流水线将选择过程移出上下文,但也因此将其移出了智能体自身的能力范围。我们展示了冻结的智能体 LLM 已经在其自身的前向传递中携带了路由信号,只需两个线性映射即可将其读出,且无需在上下文中加入任何技能文本。Gavel(Glance And Verdict from a frozen LLM)分两步读取该信号。第一步是“扫视”:通过这两个映射,将任务和每项技能的中间层状态投影出来;这两个映射是唯一经过训练的参数。随后,系统使用每项技能对应的紧凑库对整个技能库进行评分,而这些库在安装时通过一次前向传递构建。第二步是“裁决”:继续执行入围技能的前向传递,读取模型自身的似然度和“是/否”判断,并将其与“扫视”结果以专家乘积的方式融合。Gavel 只需训练一次,便能零样本迁移到三个公开基准以及我们新建的 SkillTraj 基准;后者包含 372 条模拟智能体轨迹。在 Qwen3-32B 上,相比渐进式披露和检索后重排序流水线,Gavel 在书面任务上的表现最高提升 13.4 个百分点;当技能需求在执行过程中途出现时,最高提升 21.9 个百分点,而前述流水线额外引入了 1.2B 至 16B 个外部参数。随着骨干模型能力提升,路由准确率也会提高;在 bash-agent 工具框架中,同一个 32B 模型在 Skill-Use 上触发正确技能的频率,高于运行在 Codex 中的规模大得多的前沿模型。

查看原文(arXiv cs.AI)