安全多目标强化学习：零约束违反与原始平均收敛

许多多目标强化学习（MORL）应用要求策略在满足安全约束的同时平衡相互冲突的目标。我们研究了在整个学习过程中实现零约束违反的安全 MORL，涵盖累积约束和逐步约束。一个关键挑战是，在未知动力学和约束成本的情况下，如何在不违反约束的前提下进行充分探索。针对给定的目标偏好，我们通过结合乐观的奖励估计与悲观的成本界，设计了一种学习安全帕累托最优策略的算法。以高概率计，在 T 个回合中执行的每个策略都不会产生任何约束违反。该算法返回一个由平均占用测度诱导的安全马尔可夫策略，并在平滑 Tchebycheff 标量化下实现 $\widetilde{O}(1/\sqrt{T})$ 的次优性差距。我们进一步提出了一种无偏好算法：首先在没有预先指定偏好的情况下进行安全探索，然后在无需进一步交互的情况下，为任意给定偏好计算安全策略。经过 T 个探索回合和 K 次规划迭代后，该算法保持相同的安全保证，并实现 $\widetilde{O}(1/\sqrt{T}+1/\sqrt{K})$ 的次优性差距。两种算法都要求已知一个严格满足约束的策略及其成本。随后，我们放宽了这些要求，使累积违反量最多为常数。据我们所知，这是首批能够保证每个执行策略安全性的样本高效 MORL 算法。