如何为终身强化学习中的持续适应寻找并复用策略

在终身强化学习中，仅保留先前学习到的策略并不足以实现向新任务的有效迁移。有用的知识可能分布在多个先前策略中，并且其相关性可能会随着学习者积累经验而发生变化。一种假设是，在持续学习环境中，可以有效利用任务相似性来寻找并组合先前学习到的策略。为验证这一点，研究者设计了自适应掩码选择与组合（Adaptive Mask Selection and Composition，AMSC），通过基于状态—动作—奖励样本的非参数 Wasserstein 任务嵌入，从在线经验中估计相似性。相似性分数经 z-score 标准化后输入 sparsemax，用于生成可变规模的支持集，从而周期性地选择策略并为其加权，在学习新任务时形成先验。在 CT-graph 和 MiniGrid 上，与评估的模块化组合基线方法相比，AMSC 实现了更高的平均性能和前向迁移能力，同时没有出现遗忘。在 Continual World 上的结果表明，识别相关的先验知识并确定其面向不同层的组合方式，可能需要额外的层级特定调优。消融实验显示，选择相关知识来源以及确定复用它们的程度，是取得这些性能提升的关键。独立测量的成对迁移效果也与任务嵌入相似性呈正相关。这些结果表明，在终身强化学习中，任务相似性可以作为选择并加权复用特定知识的有效标准。