评估 LLM Agents 中的记忆结构

arXiv:2602.11243v4 公告类型：替换 摘要：现代基于 LLM 的 Agents 和聊天助手依赖长期记忆框架来存储可复用知识、回忆用户偏好并增强推理能力。随着研究人员构建日益复杂的记忆架构，分析其能力并指导未来的记忆设计变得越来越困难。大多数长期记忆基准测试侧重于简单的事实保留、多跳回忆和基于时间的变化。尽管这些能力无疑十分重要，但通常可以通过简单的检索增强型 LLM 实现，因此无法测试复杂的记忆层级。为弥合这一差距，我们提出 StructMemEval——一个测试 Agent 组织其长期记忆能力的基准，而不仅仅是测试事实回忆。我们收集了一组任务，这些任务需要人类通过以特定结构组织知识来解决，例如交易账簿、待办事项列表、树结构等。我们的初步实验表明，简单的检索增强型 LLM 难以完成这些任务，而如果提示记忆 Agent 如何组织记忆，它们就能可靠地解决这些任务。然而，我们还发现，在未得到相关提示时，现代 LLM 并不总能识别记忆结构。这凸显了未来改进 LLM 训练和记忆框架的一个重要方向。