Memorilla：面向 LLM 的潜在语义记忆

arXiv:2610.21375v1 公告类型：新 摘要：记忆使大型语言模型（LLM）能够使用其参数之外的信息，例如过去的用户对话、长文档或智能体此前采取的行动。对于冻结的 LLM 而言，它能访问这些累积知识的范围，取决于记忆系统放入其上下文窗口中的内容。然而，在保持模型上下文简短的同时，为每个查询收集并整合所需的相关信息，对于现有系统而言仍然具有挑战性。在此，我们介绍 Memorilla：一种记忆系统，能够从整个文档集合中收集信息，并将其压缩为固定数量、依赖于查询的“记忆 token”，供冻结的 LLM 使用。Memorilla 首先将文档（如用户聊天记录、书籍章节）编码为可复用的嵌入，然后学习检索特定于查询的信息，并将其置于 LLM 的输入嵌入空间中。仅使用 16 个记忆 token，Memorilla 在涵盖个性化、长文档问答和知识密集型问答的八项基准测试中的五项上，取得了优于包括 Mem0 和 MemoRAG 在内基线方法的最佳性能。值得注意的是，在 FactKG 上，Memorilla 达到了 84.33% 的准确率，而完整上下文推理的准确率为 80.43%；与此同时，它表示源文档所需的 token 数量减少了 108 倍。此外，Memorilla 还能促进智能体系统中的持续学习，在这类系统中，文档数量（即智能体过去的交互轮次）会随着轨迹推进而增加。在 TextWorld 环境中，我们展示了 Memorilla 能够减少智能体在已经探索过的房间之间徘徊的倾向，并将其平均成功率从使用完整历史记录进行上下文学习时的 18.6% 提升至 24.2%。总体而言，Memorilla 有助于冻结的 LLM 在长上下文交互中有效积累和使用知识，并朝着构建持续学习的 AI 系统迈出了一步。