奖励即观测：学习基于奖励的策略以实现快速适应

arXiv:2610.00729v1 公告类型：新 摘要：本文探索了一种基于奖励的策略，以实现在观测空间完全不同的源环境和目标环境之间进行零样本迁移。尽管人类能够展现出令人印象深刻的适应能力，但深度神经网络策略往往难以适应新环境，并且需要大量样本才能成功迁移。为此，我们提出了一种新颖的、仅以奖励和动作为条件的基于奖励的策略，使其能够零样本适应观测完全不同的新环境。我们讨论了基于奖励的策略所面临的挑战及其可行性，并进一步提出了一种用于训练的实用算法。我们证明，奖励策略可以在 Pointmass、Cartpole 和 2D Car Racing 三种不同环境中进行训练，并以零样本方式迁移到观测完全不同的环境中，例如采用不同的颜色调色板或 3D 渲染的环境，或 Habitat-Sim 中的 Stretch 机器人导航任务。我们还证明，基于奖励的策略可以进一步指导目标环境中基于观测的策略训练。