将记忆与上下文解耦：面向高效 Token 的测试时持续学习的结构化记忆

arXiv:2610.02687v1 公告类型：cross 摘要：大型语言模型（LLM）正日益应用于企业、科学和医疗领域，在这些场景中，智能体必须融入特定领域的知识，并根据经验进行适应。上下文工程通过在推理时提供指令、策略和证据来改善模型行为，为权重更新提供了一种切实可行的替代方案。然而，在线调整上下文通常需要代价高昂的试错过程，而查询往往被独立处理，导致有用经验无法延续。记忆系统通过在交互之间保留信息，解决了这一局限，但持续向共享上下文中追加信息的方法会面临不断增加的 Token 成本、上下文窗口限制，以及随着上下文扩展而出现的性能下降。我们提出了一个统一的上下文优化形式化框架，并表明，智能体记忆系统的更新可以被解释为针对模型上下文的优化更新过程。这一视角旨在为研究记忆设计及其效率提供一个有原则的框架。随后，我们提出 GraphMemory，这是一种轻量级的基于图的记忆系统，用于累积、精炼、组织和连接可复用的策略。对于每个查询，GraphMemory 仅检索相关子图，从而实现在线上下文适应，同时无需将整个记忆暴露给模型。在有界检索的情况下，随着处理样本数量的增加，检索到的记忆量仍保持不变。实验表明，GraphMemory 在下游性能方面具有竞争力，同时相比我们的基线方法，记忆构建所需的 Token 减少了约 81%–85%。