arXiv cs.AI精选76

记忆类型各异:通过多样化策略赋能 LLM 智能体实现长期记忆

Memory Type Varies: Empowering LLM Agents for Long-Term Memory with Diverse Strategies

· 5天前

精选理由

深度 86 / 新颖度 82,来自 arXiv cs.AI。

AI 摘要

近年来,大语言模型(LLM)的记忆能力日益受到关注。尽管现有方法已取得巨大成功,但基于检索的记忆方法通常忽视不同记忆之间的差异,采用统一策略处理所有记忆,从而导致性能欠佳。因此,一个直观的问题随之产生:能否将记忆划分为不同类型,并选择适当的策略?然而,鉴于记忆场景具有主题丰富、情境复杂和边界模糊等特点,要实现记忆的精准分类并不容易。为应对这一挑战,本文提出了一个记忆多分类数据集 TriMEM,为多样化场景中的记忆类型提供精准标注。在此基础上,我们提出了一种新颖的记忆框架 MemoType,该框架借助训练得到的路由模型,自适应地识别每条记忆和查询的类型。通过对记忆和查询进行路由,MemoType 能够检索与查询类型相匹配的记忆,并设计针对性的检索策略,从而提升检索性能。此外,我们从理论上证明,在多类别语料库中,任何单一检索策略的期望检索精度都存在一个基本上限,进而导致系统性的精度下降。在三个数据集上的大量实验表明,MemoType 始终优于现有方法,Recall@1 最高提升 16.18%。

查看原文(arXiv cs.AI)