满足，而非求解：强化学习中有界稳态奖励的奖励机制劫持

人们常认为，有界内在奖励不会被钻空子：如果一个信号最多只能产生固定数量的奖励，那么操纵它就不应有利可图。我们针对一种稳态饱足奖励检验了这一观点；在这种机制中，需求会不断累积，缓解需求则会带来奖励。我们还为智能体提供了一个可低成本重置其需求的动作。在 MiniGrid DoorKey-8x8 中，拥有这一动作的 PPO 智能体在 80 个随机种子中仅有 2 个成功完成任务，而在相同种子下，不具备这一动作的智能体有 71 个成功；在 KeyCorridorS3R1 中，两者分别为 20 个中 0 个成功和 20 个全部成功。拥有这一动作的智能体，其策略始终接近均匀分布。奖励本身并不要求这种行为：通过望远镜求和论证可知，任意策略的饱足回报都不会超过需求的初始驱动力；事后计算则表明，在我们训练所用的每一种增长率下，成功完成任务的轨迹在所有采样布局中都能获得超过这一上限的回报。在开启优势归一化的 DoorKey 中，智能体能够自行填满的满足感信号，效果比没有该信号更差（仅使用任务奖励时，20 个种子中有 11 个成功；加入可篡改信号后，仅有 1 个成功）；而对每次按压收取 0.1 的成本，则使所有种子下的智能体都重新成功完成了任务。反复利用正奖励循环刷取奖励的行为出现在 DoorKey 中，但在 KeyCorridorS3R1 中未持续出现。所有预测均已预注册，并从第 3 轮起通过哈希锁定；我们的 23 项假设中有 9 项未获支持，我们逐一报告了这些结果。