基于人类反馈的强化学习中可证明的零阶安全探索
Provable Zeroth-Order Safe Exploration for Reinforcement Learning from Human Feedback
精选理由
提出无奖励模型的安全探索方法，保证训练中所有策略均满足约束，并证明其收敛性与样本复杂度。
AI 摘要
arXiv:2611.07561v1 公告类型：新投稿 摘要：基于人类反馈的安全强化学习（Safe-RLHF）旨在满足无害性约束的同时提升有用性。现有的原始-对偶方法能够收敛到可行策略，但无法防止训练期间违反约束。我们研究了一个更强的要求，即 RLHF 的安全探索：训练期间执行的每个策略，包括辅助探索策略，都保持可行。我们提出 Zeroth-Order Log-Barrier Policy Gradient（ZO-LBPG），这是一种无需奖励模型的方法，利用直接从人类偏好中获得的零阶估计来优化对数障碍目标。为在含噪反馈下确保安全，我们将保守的约束裕量估计与耦合轨迹采样相结合，并采用自适应步长，防止更新越过约束边界。我们证明，所有迭代点和探索策略均以高概率保持严格可行，且 ZO-LBPG 全局收敛到近似最优的约束策略。我们给出的样本复杂度为 $\widetilde{\mathcal O}(\varepsilon^{-6}+d^3\varepsilon^{-5})$ 条轨迹和 $\widetilde{\mathcal O}(\varepsilon^{-8}+d^5\varepsilon^{-7})$ 次人类查询。在合成 CMDP 和语言模型对齐任务上的实验验证了训练期间的安全性保证。