PoEM：从现有策略预测 RL 结果

基础模型通过强化学习（RL）进行后训练，以最大化特定奖励，例如与人类偏好对齐、正确性或指令遵循。这一后训练过程计算成本高，有时还不稳定，并且每当奖励模型发生变化，或我们希望组合多个奖励时，都必须从头开始运行。于是我们提出这样的问题：给定一个新的奖励函数，是否可以在不实际运行 RL 的情况下预测 RL 的结果？我们的答案是肯定的。我们引入了 PoEM，这是一种利用一组已经针对其他奖励完成后训练的模型，来预测在新奖励函数下 RL 输出结果的框架。首先，我们表明，如果新的奖励函数可以写成现有奖励函数的线性组合，那么新策略在对数空间中也可以写成现有对数策略的线性组合。出人意料的是，即使奖励之间不存在线性联系，我们仍观察到，在不同奖励下，通过 RL 训练得到的对数策略通常张成一个近似低秩子空间。对我们而言有利的是，这一组合的权重系数仅使用样本上的奖励输出或基策略输出即可估计。基于这些观察，我们将其转化为一种算法：输入经过后训练的模型和一个新的奖励函数，在无需进行任何额外 RL 训练的情况下，近似得到目标 RL 策略。我们在涵盖文本和图像模态的合成奖励与真实奖励上进行了实验验证。