用于离线安全强化学习的单调生存性学习

arXiv:2611.07616v1 公告类型：新投稿 摘要：离线安全强化学习需要基于固定数据进行可靠的长时域安全性估计。在这一场景下学习 Hamilton-Jacobi（HJ）生存性，需要保证语义保持、收敛性和数值稳定性。为应对这些挑战，我们提出 Monotone Viability Learning（MoViL），通过单调的有限时域集合递推，从离线状态转移数据中学习生存集。该递推保持有限时域安全语义，并收敛于无限时域生存核。二元监督使不同时间范围内的目标尺度保持固定，从而避免折扣引起的数值衰减。我们进一步确立了恢复由行为策略支持的生存子集的充分条件。学习得到的生存性估计用于在部署时认证动作的安全性。Dubins 车辆实验验证了所学习生存集的数值准确性。在安全强化学习基准上的评估表明，该方法在奖励与成本方面达到了当前最优水平。MoViL 在每项任务上均满足平均成本约束，并在所有对比方法中实现了最低的平均成本。这些结果凸显了 MoViL 的潜力：将长时域 HJ 生存性分析拓展至无法获得可靠动力学模型且在线探索不安全的安全关键系统。