部分可观测条件下受约束强化学习的有限时间保证
Finite-Time Guarantees for Constrained Reinforcement Learning under Partial Observability
精选理由
为部分可观测约束强化学习提供有限时间性能与约束违约保证，助力可靠决策。
AI 摘要
arXiv:2610.21548v1 发布类型：新 摘要：我们研究受约束的部分可观测马尔可夫决策过程（CPOMDPs）中的强化学习问题：智能体仅利用关于底层状态的不完整信息，在满足成本约束的条件下最大化奖励。状态不可观测性可能要求最优策略依赖任意长的观测—动作历史，从而使规划与学习面临挑战。我们利用近期关于POMDPs有限记忆近似的研究进展，将有限历史窗口表示为受约束MDP的状态。随后，我们提出一种原始—对偶算法，为原始CPOMDP中的平均奖励次优性和约束违反提供首个同时成立的非渐近界。一个关键挑战在于，这种有限窗口近似同时影响奖励值和可行策略集合。在滤波器稳定性假设下，我们推导出有限状态模型中的最优性与可行性和原始CPOMDP中相应性质之间的关系，其近似误差随窗口长度增加呈几何衰减。在部分可观测网格世界中的实验展示了我们方法的有效性。