基于优化确定性等价的可证明高效风险敏感离线强化学习
Provably Efficient Risk-Sensitive Offline Reinforcement Learning via Optimized Certainty Equivalents
精选理由
首次提出OCE离线风险敏感强化学习算法，给出动态与静态设定的上下界及函数逼近保证。
AI 摘要
arXiv:2610.21870v1 公告类型：new 摘要：风险敏感强化学习（RL）旨在应对不确定性和不利结果下的决策问题。当与环境进行额外交互的成本较高时，从固定数据集中学习风险敏感策略十分重要。现有关于风险敏感强化学习的研究主要聚焦于在线设置或特定风险度量，对其离线设置的普遍理论理解仍不充分。在本文中，我们使用优化确定性等价（OCE）这一类通用风险度量，研究高效的离线风险敏感强化学习。我们考虑两种形式：dynamic-OCE RL，即在每一步递归应用OCE；以及static-OCE RL，即对累积奖励应用一次OCE。在表格设置下，我们针对这两种形式分别设计了悲观价值迭代算法，并建立了紧致的次线性次优性界，明确刻画由效用函数编码的风险敏感性如何影响学习难度。此外，我们还建立了极小极大次优性下界，以刻画该问题的基本极限。为处理大规模状态空间，我们进一步设计了悲观最小二乘价值迭代算法，将通用的OCE风险准则纳入线性函数逼近框架。我们建立了依赖于效用函数的次线性保证，并明确给出其对特征维度 $d$ 的依赖。据我们所知，我们首次为dynamic-OCE RL和static-OCE RL分别提供了离线算法，以及次优性的首个上界和下界。