通过大规模并行加速安全强化学习

arXiv:2611.08273v1 公告类型：新论文 摘要：我们研究如何将安全强化学习（safe RL）扩展至大规模并行训练场景，在此场景中，大量环境以较短的轨迹采样时域运行。尽管这种设置提高了数据吞吐量和实际运行效率，但它与约束马尔可夫决策过程（CMDPs）存在不匹配，因为后者的安全约束是基于完整回合的累计成本定义的。为解决这一不匹配问题，我们将错开的环境重置建模为短轨迹片段上的相位混合分布，并对此进行分析。该分析刻画了相位覆盖所引入的偏差，并据此提出一种相位聚合成本估计器，可从短轨迹采样批次中重建回合级成本估计。我们进一步将有限样本不确定性和分布不匹配纳入约束收紧框架，从而得到一种可扩展且兼容同策略优化的安全强化学习方法。我们使用基于 MJX 的 Safety Gym 实现开展实验，结果表明，所提方法在大幅缩短实际训练时间的同时，实现了与非大规模并行实现相当的性能。