奖励膨胀：强化学习的健康刺激
Reward Inflation: A Healthy Stimulus for Reinforcement Learning
精选理由
提出奖励渐增机制，提升强化学习适应性与持续学习能力，并以自适应调节增强多任务表现。
AI 摘要
arXiv:2610.02545v1 公告类型：新发布 摘要：奖励是强化学习（RL）中的主要学习信号。然而，尽管奖励幅度通常在整个训练过程中保持不变，其时间调制仍未得到充分研究。本文提出奖励膨胀，即在训练过程中逐步缩放奖励，并表明它可以作为 RL 的一种健康刺激。从理论上看，奖励膨胀会引入隐式的近期性加权，在策略更新期间提高近期转移的权重，从而实现更快的适应。我们进一步表明，奖励膨胀能够在策略趋于饱和时持续提供梯度信号，抑制休眠神经元的出现，并帮助保持可塑性。在 ALE 游戏和 MuJoCo 任务上的实证结果证实了这些发现，表明适度的奖励膨胀有益于广泛的任务。最后，我们提出 Fed，这是一种自适应变体，可动态调整膨胀水平，并发现它通常优于固定膨胀。