子空间推断使基于偏好的高效主动奖励学习成为可能

来自人类反馈的强化学习（RLHF）已成为一种强大但样本效率较低的方法，用于从人类偏好中学习奖励模型，因此主动学习成为合成信息量丰富的偏好查询的关键组成部分。然而，对于大型神经网络奖励模型而言，主动学习所需的有效不确定性量化仍然是一个关键挑战。本文提出 PreferenceEKF，这是一种样本效率高的方法，通过将主动偏好学习表述为序贯贝叶斯滤波问题来跟踪奖励模型的不确定性。我们的方法不依赖于在完整神经网络参数空间上进行计算代价极高的后验推断，而是在低维参数子空间内使用扩展卡尔曼滤波进行序贯推断，并随着新的偏好查询到来持续更新奖励模型后验。我们的方法使得对神经网络参数进行可扩展采样成为可能，从而高效计算用于主动奖励学习的获取函数。在 D4RL 和 V-D4RL 基准上的实验表明，与其他贝叶斯深度学习方法相比，我们的方法在样本效率、运行时间、可扩展性和校准性方面都表现更好，而且所学习到的奖励模型能够带来具有竞争力的离线强化学习策略性能。这凸显了在 RLHF 中用于基于偏好的奖励建模的可扩展贝叶斯方法的潜力。我们的代码可在 https://github.com/yutaizhou/bnn_pref 获取。