arXiv cs.AI精选76

RECAST:通过自适应证据路由学习计算恰当的上下文

RECAST: Learning to Compute the Right Context through Adaptive Evidence Routing

· 6天前

精选理由

提出可学习的证据路由框架,能跨多源信息主动筛选、汇总与计算,提升复杂任务的准确率和泛化能力。

AI 摘要

大语言模型正日益广泛地应用于以冗长、异构信息源为基础的任务。传统的检索增强生成(RAG)依赖基于相似度的固定检索方式,而智能体式变体虽然能够调整查询和工具使用,但总体上仍以检索为中心。然而,在许多任务中,求解所需的证据并未明确存在于任何单个信息源条目中,而是必须通过对多个信息源条目进行筛选、聚合或计算才能推导得出。在本研究中,我们提出 RECAST(Routing Evidence through Computation, Access, and Synthesized Tools),这是一个通过学习构建的框架,将证据构建表述为围绕异构检索与计算操作展开的序贯决策过程,使证据能够被主动推导,而非仅仅被检索。轻量级 RouterLM 以迭代方式选择并构造基本操作,或指定定制操作,由参数冻结的 CompilerLM 将其转换为可执行代码。一旦判定证据充分,RouterLM 就会将采纳的证据传递给参数冻结的 AnswerLM,以生成最终解答。我们先通过监督微调(SFT),再通过组相对策略优化(GRPO)训练 RouterLM。在六类异构基准测试中,RECAST 的平均成功率达到 75.6%,比最强的大模型基线高出 15.9%。此外,经过训练的 Qwen3.5-9B RouterLM 比未经训练的 Gemini 3.5 Flash RouterLM 高出 5.0%。在三个未参与训练的基准测试中,RECAST 比最强基线平均提升 15.0%,展现出跨任务和异构信息源表示的强大零样本泛化能力。

查看原文(arXiv cs.AI)