可证明安全且可扩展的强化学习

arXiv:2606.14536v2 公告类型：替换 摘要：安全强化学习（RL）旨在学习能够在满足约束的同时优化奖励的策略。主流方法依赖于软约束策略优化，虽然已在实证中取得成功，却无法为所学策略提供形式化的安全保证。相比之下，具有严格保证的方法通常依赖显式证书函数，而构造这类函数需要直接合成并验证控制不变集；这一过程难以扩展到高维状态空间，且往往导致过于保守的行为。本文提出 Provably Safe, yet Scalable RL（PS2-RL）框架，这是一种新颖的两阶段架构，旨在突破既有方法的关键瓶颈，以可扩展的方式学习可证明安全的策略。PS2-RL 不显式计算不变集，而是利用学得的备用策略对系统动力学进行前向积分，在线生成隐式控制不变集。第一阶段使用安全到达价值函数训练备用策略，使系统能够快速、安全地恢复至经过认证的基础集，以构造不变集。第二阶段通过可微分投影层对 RL 策略进行端到端训练，该投影层严格落实由学得的备用策略所带来的安全保证。通过在第一阶段最大化隐式控制不变集的体积，第二阶段得到的 PS2 策略既具备良好的性能和可扩展性，又能保持可证明的安全性。关键在于，PS2-RL 对底层 RL 算法不施加任何限制，可接入任何现有训练流程。我们为所提出的框架建立了理论保证，并在状态维度最高达 10 维的机器人控制任务上进行了评估；在这一维度范围内，既有的可证明安全 RL 方法往往难以应对，甚至不再切实可行。