内在奖励何时会促成探索？

arXiv:2610.02159v1 公告类型：新增 摘要：内在奖励旨在通过为智能体的经验赋予价值来引导强化学习中的探索，例如利用预测误差或学习进展。然而，最大化这些奖励未必能产生最具信息量的经验。我们提出了一项探索的形式化准则，根据策略获取的反事实信息对策略进行比较：即在其他策略下，其历史在多大程度上能够替代相应的经验。我们构造了一个简单的单一环境，在该环境中，特定的基于计数、预测误差、赋能和信息增益的目标，其最大化策略在获取反事实信息方面均处于帕累托次优状态。我们解释了这些失败的原因，并确立了现有内在奖励能够成功促进最优探索的条件。我们还构造了一个目标：只要探索根据我们的准则得到严格改善，该目标就会赋予更高的价值。