你能信任你的偏好模型吗？用于对齐的Stackelberg博弈

语言模型通常通过不完美的评估器根据人类偏好进行对齐，而这些评估器的错误可能在优化过程中被利用。我们训练策略来搜索这样的比较：在这些比较中，评估器可能会反转底层偏好，从而为进一步监督提供候选样本。由于策略训练期间无法获得人类偏好，我们使用偏好模型集成之间的分歧，作为预测误差的替代指标。我们将这一搜索过程表述为两个对立策略之间的零和Stackelberg博弈：Leader试图最小化分歧，而Follower则最大化分歧。对于一类一般的有限上下文Stackelberg博弈，我们证明了均衡的存在性，并证明在正则化条件下均衡具有唯一性和闭式刻画。我们提出Stackelberg Mirror Descent-Ascent（SMIDA），这是一种双时间尺度算法，在表格化设置下具有线性的末次迭代收敛速度；同时，我们还开发了相应的神经策略梯度版本。使用合成oracle进行的实验表明，分歧可以作为预测误差的有效替代指标。在留出数据上，训练得到的策略优于参考策略，并提高了超过分歧阈值且反转oracle偏好的比较所占比例。