具有神经进化的持续强化学习

arXiv:2610.01583v1 发布类型：cross 摘要：尽管已有许多研究探讨了持续任务变化下强化学习（RL）中可塑性丧失的原因及补救方法，但目前还没有任何 RL 方法能够始终在适应与遗忘之间取得良好平衡。本文转向一种替代性优化范式——神经进化（NE）：这类算法通过在神经网络种群上进行变异和选择，直接在权重空间中搜索。在广泛的环境和环境变化设置中，针对参数量从几百到数百万不等的策略，我们将进化策略（ES）和遗传算法（GAs）与最先进的持续 RL 变体及基于种群的 RL 进行了比较。ES 最稳定地实现了良好的稳定性-可塑性权衡，而 GA 是可塑性最强的方法，但比 ES 遗忘得更多。为了解释这一现象，我们研究了每种方法所得解周围的回报景观。ES 找到的邻域最宽，即在这些权重空间区域内，经过扰动的策略仍能解决任务；连续任务的邻域之间的重叠大小，与方法的稳定性-可塑性权衡具有相关性。通过新颖性搜索在 GA 中奖励行为多样性，会使种群具有更强的可塑性，但代价是更多的遗忘。最后，在 RL 中普遍报告的可塑性丧失症状并不会迁移到 NE。总体而言，这些结果表明，在持续任务变化下，NE 是 RL 具有竞争力的替代方案，并暗示在权重空间扰动下进行训练，可能是更广泛的持续学习中的一种有用机制。