如何在终身强化学习中寻找并复用持续适应的策略

arXiv:2610.03119v1 公告类型：新 摘要：在终身强化学习中，仅保留先前学习到的策略并不足以实现向新任务的有效迁移。有用的知识可能分布在多个先前策略中，并且其相关性会随着学习者积累经验而变化。一种假设是，在持续学习环境中，可以有效利用任务相似性来寻找并组合先前学习到的策略。为验证这一点，Adaptive Mask Selection and Composition (AMSC) 被设计用于通过状态—动作—奖励样本构成的非参数 Wasserstein 任务嵌入，根据在线经验估计相似性。对相似性分数进行 z-score 归一化后得到的 sparsemax，被用于生成一个大小可变的支持集，以便定期选择策略并为其赋予权重，从而在学习新任务时形成先验。在 CT-graph 和 MiniGrid 上，与评估的模块化组合基线相比，AMSC 取得了更高的平均性能和前向迁移，同时没有出现遗忘。Continual World 上的结果表明，识别相关的先验知识并确定其按层组合的方式，可能需要额外的逐层调优。消融实验显示，选择相关来源以及确定复用这些来源的程度，是取得这些提升的关键。独立测量的成对迁移也与任务嵌入相似性呈正相关。这些结果表明，任务相似性可以作为一种有效标准，用于在终身强化学习中选择并加权复用特定知识。