用于平均回报 $Q$-学习与 $Q$-规划的混合正则化

强化学习中的平均回报设定具有挑战性，因为已知其 Bellman 算子只有在底层马尔可夫链具有混合性时才在跨度半范数下收缩。现有工作通常假设收缩性质成立，例如通过环境的混合性来保证；而我们考虑的设定是：给定一个与奖励无关的 $m$ 步混合策略，通过向该混合策略正则化，控制所学策略的收缩性质和探索性质。我们对可采用多种正则化方式实例化的 $Q$-学习算法提供了有限时间分析，并给出了相对于正则化不动点的理论保证。我们的框架揭示了依赖于正则化器的新型对象，它们控制着收缩性、探索性和算子偏差。在单步设定下，我们的收敛速率与 $Q$-迭代和同步 $Q$-学习的已知最优速率一致；对于 $m$ 步混合，我们推导出了新的速率。我们还研究了 $Q$-规划的变体，并表明规划相当于时间局部化的学习，其中规划时域 $H$ 在边界值引入的偏差与样本复杂度之间进行权衡。最后，我们通过数值研究验证了分析结果：(i) 已知一个具有强混合性的策略能够改善收敛和探索，且其优势随瓶颈严重程度的增加而增大；(ii) 我们的理论能够预测 $α$-散度族中各正则化器在收敛和偏差方面的排序。