借助发现的选项掌握 Atari 2600 游戏

arXiv:2610.03604v1 发布类型：new 摘要：时间抽象通常以选项的形式实现，长期以来一直被视为强化学习（RL）中加速信用分配、促进探索和实现泛化的一种机制。然而，开发出在大规模、高维领域中有效的通用选项发现方法，仍然是一个根本性挑战。现有的选项发现方法要么局限于相对简单的领域，要么依赖手工设计或准符号表示，要么相比于不使用选项的学习只能带来很小的改进。我们提出了 Wayfarer，这是一种通用、与领域无关的在线深度强化学习智能体，通过对高维观测进行拉普拉斯表示学习来发现选项，并利用这些选项进行控制。我们表明，由此产生的选项能够同时改善探索、加速信用分配，并有效泛化到未见过的环境，从而显著加快复杂策略的学习。Wayfarer 在最具挑战性的 Atari 2600 游戏中取得了单流智能体中的当前最佳性能；在 Montezuma's Revenge 和 Private Eye 等需要长时域探索与战略行为的游戏中，性能提升尤为显著。