MemTrace：追踪并归因大型语言模型记忆系统中的错误

arXiv:2605.28732v4 公告类型：替换交叉版本 摘要：记忆对于使大型语言模型支持长程推理至关重要，然而现有记忆系统仍不可靠且难以调试。追踪记忆的动态演化，对于理解信息如何随时间被综合、传播或损坏至关重要。在本文中，我们研究了 LLM 记忆系统中的错误追踪与归因这一新问题。我们提出了一种新颖的框架，将记忆管道转换为可执行的记忆演化图，从而实现对操作信息流的细粒度追踪。随后，我们构建了 MemTraceBench，这是一个从 Long-Context、RAG、Mem0 和 EverMemOS 等具有代表性的记忆系统中收集的基准，用于系统研究记忆失效模式。我们进一步引入了一种自动归因方法，通过迭代追踪操作子图，定位任意失败案例的根本原因。我们的分析表明，记忆失效具有系统性，源于信息丢失和检索错位等操作层面的问题。更为关键的是，我们利用这些细粒度归因信号指导下游提示词优化，建立了一个闭环系统，能够自动纠正故障，并使最终任务性能最高提升 7.62 个百分点。代码已发布于 https://github.com/zjunlp/MemTrace。