SUN：在强化学习中追寻新颖性

arXiv:2609.08642v2 公告类型：替换 摘要：强化学习（RL）中的探索仍是一项根本性挑战。近期的目标条件化 RL 策略（通过选择目标来促进更广泛的状态覆盖）已展现出良好效果，但尚无策略能同时依据新颖性和可达性对目标进行评分：这两种信号要么被人为权衡，要么被依次应用，要么其中一种被完全忽略。本文提出一种可达性感知的目标选择框架，显式整合这两个方面，并可无缝融入任何离策略 RL 算法。为此，我们提出 SUccessor-to-Novelty（SUN），这是一种从后继价值函数推导出的指标，用于识别既新颖又可达的目标。我们证明，SUN 是一种按计数缩放的目标达成奖励所对应的价值，可为短时域内的命中概率提供界限，并能排除不可达目标。我们进一步提出一种利用这些性质的自适应目标选择策略，以及一种准确且轻量级的伪计数方法，以避免经典方法的开销。我们通过全面的基准测试验证了所有论断：在包含不可达或难以到达的状态、不可逆转移、障碍物、迷宫及无界空间的标准环境和新环境中，SUN 均持续优于当前最先进的方法。代码见 https://github.com/sparisi/rl-anvil