基于采样的安全强化学习

arXiv:2605.19469v2 公告类型：替换 摘要：安全探索仍然是强化学习（RL）中的一项根本性挑战，限制了 RL 智能体在现实世界中的部署。我们提出 Sampling-Based Safe Reinforcement Learning（SBSRL），这是一种基于模型的 RL 算法，通过在有限的动力学样本集上联合施加约束，在整个学习过程中维持安全性。该形式化方法近似求解了针对不确定动力学的难以处理的最坏情况优化问题，并能在连续域中提供实用的安全保证。我们进一步引入了一种基于约束认知不确定性的探索策略，无需显式的探索奖励。在正则性条件下，我们推导了整个学习过程中的高概率安全保证，以及用于获得近似最优策略的有限时间样本复杂度界。实验表明，SBSRL 在仿真和真实机器人硬件上均能实现安全、高效的探索，并且易于扩展为实用的深度集成实现，以适应高维连续控制问题。