非对称在策略蒸馏学习上下文内探索

部分可观测条件下的序列决策很困难，因为智能体必须先进行探索，以推断隐藏的、与任务相关的信息，才能有效行动。通过在线强化学习从零开始学习这类信息收集行为，样本效率较低；而离线模仿会对不同隐藏状态下的专家动作进行平均，因而无法学会探索。在本文中，我们提出 ASTEROID，一种简单且有效的学生—教师监督学习框架，能够学习测试时探索。尽管享有特权信息的专家从不需要探索，我们证明，经过基于策略上下文训练的历史条件学生模型可以学会探索：学生首先在部分可观测条件下收集策略内上下文，然后由享有特权信息的专家根据该上下文提供动作标签。通过直接蒸馏基于学生策略内历史的专家动作，学生学会系统性地解决部分可观测性问题，即在不确定时进行搜索，并在隐藏状态揭示后加以利用。这使得学生能够高效地进行测试时探索（类似于贝叶斯后验采样），同时避免强化学习所需的高昂训练数据成本。在包括离散探索基准、机器人操作、导航和 Procgen 环境在内的多样化 11 个环境中，ASTEROID 在固定探索预算下取得了约 2 倍的更高回报，所需交互次数仅为强化学习基线的约 1/100，并且在探索方面优于前沿模型。最后，我们的方法将仿真中训练的策略迁移到视觉受限的真实世界机器人操作任务中，展现出高效探索能力，相较于标准蒸馏方法，成功率提升了 +40%。总体而言，该方法提供了一个简单却出人意料地有效的框架，用于学习高效的测试时探索。