掩码 MDP 的自白

在强化学习中，人们通常预先假设动作集合是已知的，因此必须在计算开始前知道哪些状态—动作对是不被允许的。在某些应用中，确定这一动作掩码是主要的计算瓶颈。为突出这一问题的核心性质，我们研究如何在一个线性 MDP 模型下，将寻找最优策略与学习动作掩码结合起来；在该模型中，每次尝试动作都会揭示一个用于确定其有效性的线性评分的精确值。在这一框架下，我们首先构造了一种基于确定性乐观优化的算法，并证明其达到了极小极大最优性，同时还证明该算法具有计算效率。然而，正如我们所证明的，在非退化实例上，该算法并非最优。为此，我们提出了另一种同样具有计算效率的算法，该算法会规划其探索策略。该算法可以被形式化地理解为确定性反馈下 information-directed-sampling 的一种类比，这一观点本身可能具有独立的研究价值。最后，我们研究了该框架在迁移学习中的一种应用，其中无效动作集合会随时间发生变化。