用于离线对比式目标条件强化学习的反事实展开
Counterfactual Rollouts for Offline Contrastive Goal-Conditioned Reinforcement Learning
精选理由
针对信息隐藏导致的离线强化学习偏差，提出反事实方法提升目标达成成功率。
AI 摘要
对比式强化学习（CRL）通过将状态--动作对与随后到达的状态建立关联来学习目标条件价值，其前提是不存在任何未观测变量同时影响记录的动作及其结果。当离线示范来自一个掌握了学习者无法获取的信息的示范者时，这一前提便不再成立，评论家会吸收虚假的动作--结果关联。我们利用混杂马尔可夫决策过程对这一情形进行形式化，并引入反事实转移，以区分数据能够识别的内容与无法识别的内容；在所有相容转移中进行最小化，可得到一个对真实占用率构成下界的最坏情况占用率。因果对比式强化学习（CauCRL）从正向和负向离线示范中学习一种悲观的反事实转移，并在反事实展开上训练评论家；在存在混杂的目标到达任务中，其成功率显著高于标准 CRL。