arXiv cs.AI精选73

Harness Continual Learning:超越模型参数的持续适应

Harness Continual Learning: Continual Adaptation Beyond Model Parameters

· 55天前

精选理由

提出冻结模型外持续学习框架,帮助智能体在保留旧能力下持续进化。

AI 摘要

持续学习在很大程度上一直以模型为中心,将模型参数视为会随序列经验而变化的状态。现代智能体也可以通过由提示、记忆、工具、技能和路由规则组成的 harness 来适应。由于这些内容共同塑造后续执行,即使模型被冻结,harness 更新也可能破坏先前可靠的行为。这提出了一个新问题:智能体如何在模型之外持续改进其状态,同时保留早先获得的行为?我们提出 Harness Continual Learning (HCL),这是一种新的持续学习范式,其中 harness 围绕冻结的基础模型演化,并将由此产生的早期行为损失定义为 harness 级遗忘。我们用四个面向执行的组件来实例化 HCL:Task Interface、Experience Memory、Capability Map 和 Adaptive Router。我们进一步引入受保护的 harness 演化,以将更新生成与状态提交分离。Continual Optimizer 根据执行后反馈提出候选 harness,Continual Evaluator 则仅在检查当前改进、历史保留和有效性之后才提交生成的候选 harness。文本推理、多模态感知和开放世界交互方面的实验展示了能力积累和失败恢复,在多个设置中相对于相应基线的相对提升超过 10%。组件消融评估了每个 harness 组件的贡献,而受控保留扫描揭示了可测量的 harness 级遗忘,并表明稳定性—可塑性权衡可以被显式调整。

查看原文(arXiv cs.AI)