面向智能体持续学习的循环式运行框架

arXiv:2610.12668v1 公告类型：新论文 摘要：语言模型智能体越来越多地在长交互流中运行，需要通过持续学习在线适应分布偏移。然而，现有智能体运行框架通常要么仅通过前向信息流更新状态，要么依赖额外的回放数据或验证数据来优化运行框架。为此，我们提出 ReHarness，这是一种面向智能体持续学习的循环式运行框架，在严格在线的流式协议下，以反向修订补充前向读写。我们探究：运行框架状态中的哪些信息本可以通过不同的方式记录，从而为处理流中的当前实例提供更有效的参考。具体而言，在每个实例处理完成后，我们利用产生的轨迹作为反馈，修订为该实例检索出的反思内容，从而使反馈沿文本形式的运行框架状态反向传播。在三个持续学习基准和三种语言模型骨干上，ReHarness 均持续优于强大的原始上下文基线、基于记忆和反思的方法以及提示词优化方法。进一步分析表明，ReHarness 能够生成有来源依据且有意义的修订，在分布偏移下纠正过度泛化或过时的经验，并提升持续学习过程中的稳定性和可塑性。