arXiv cs.AI精选76

从知识访问到源学习:开发特定来源的能力

From Knowledge Access to Source Learning: Developing Source-Specific Competence

· 12天前

精选理由

提出让智能体从反复访问资料升级为持续学习来源,提升复杂知识任务表现。

AI 摘要

大型语言模型(LLM)智能体越来越依赖持久化外部来源来解决一系列知识密集型任务。现有方法改进了来源内容的访问与组织方式,而智能体记忆系统则保留了先前交互中可复用的知识;然而,对同一来源的重复使用在很大程度上仍被视为重复访问,而不是逐步加深对该来源理解的机会。我们研究源学习:在持久化权威来源上开发可复用的特定来源能力。我们通过持久化来源模型来表示这种能力,该模型捕捉对来源的可复用理解,包括其知识如何组织、解释和应用。为构建并逐步完善此类模型,我们提出了 SourceLearn,它结合了两种互补的学习机制。自主源学习识别尚未被充分理解的内容,并自适应地重新访问来源;任务引导源学习则利用下游经验揭示局部表征缺口,以及在组织来源知识方式上的反复需求。在这两种情况下,学习信号决定应重新考虑哪些内容,而持久化更新则依据权威来源重建。在五个基准和三种 LLM 后端上,SourceLearn 在 15 种设置中的 13 种取得最佳性能,相较于 Hybrid RAG 的提升最高达 22.6 分,并且相较于静态来源表征和基于经验的记忆基线方法取得了显著的整体改进。

查看原文(arXiv cs.AI)