任务多样性带来系统性迁移，却抑制持续强化学习

arXiv:2606.00880v2 公告类型：替换 摘要：持续强化学习（RL）旨在构建能够不断适应新任务的智能体。一个关键问题是，这一目标与智能体所经历的任务多样性如何相互作用。已有研究表明，在大量多样化任务上训练能够使智能体具备强大的零样本适应和上下文适应能力。然而，这些研究是在智能体停止学习后，即权重被冻结的情况下，对其进行评估的。任务多样性如何影响智能体在一系列分布偏移中持续学习的能力，仍不明确。我们提出 Banyan，这是一个 GPU 加速的持续 RL 环境，可通过参数化方式控制定义任务的三个独立维度：智能体必须穿行的地图布局、必须与之交互的对象，以及子目标依赖关系的层级结构。我们发现，增加各个维度上的多样性都会促成系统性迁移——也就是说，智能体在新的任务分布上开始训练时，其性能接近在前一个任务分布上达到的水平，即使分布偏移改变了最优策略的结构也是如此。尽管增加多样性能够改善系统性迁移，但我们发现，过高的多样性会抑制学习者持续适应新任务分布的能力。随着多样性增加，学习者在新任务上的成功率进入平台期，但在旧任务上的表现却持续改善——即使不再接触这些旧任务。我们发现，这一现象在不同的持续学习算法、记忆架构、架构规模以及基于物理的控制环境 Kinetix 中均有出现。我们发布 Banyan，作为开展受控实验的环境，用于研究大量任务条件下的持续 RL。代码见 https://github.com/nhshah15/banyan。