对齐中线性奖励的公理可满足性

arXiv:2610.06892v1 公告类型：cross 摘要：从人类偏好数据中学习，是使语言模型与人类价值观对齐的主流途径。在线性社会选择中，奖励关于提示词—响应对的固定特征表示是线性的，Ge et al.[2024] 表明，通过最小化任何非递减凸损失（包括 BTL）来拟合此类奖励，都会无法满足 PO 和 PMC。此外，一旦要求输出由线性方式诱导，任何只读取多数关系的规则都无法满足 PO。我们探讨：如果无论如何都要强制满足这些公理，需要付出什么代价。为此，我们放宽线性模型，允许为每个候选项设置松弛量。我们计算满足带间隔 $\eta$ 的公理的松弛线性奖励，使总松弛量最小，其中间隔 $\eta$ 是两个奖励值之间所要求的最小差异。我们的方法在不对投票者或比较数据的收集方式作任何假设的情况下满足这些公理。当候选项数量为 $m$ 且 $\eta$ 至多为 $O(\frac{1}{m^2})$ 时，我们将最优总松弛量上界限定为 $O(1)$。此外，我们构造了一个迫使该界成立的实例，从而得出该速率在常数因子意义下是紧的。在实践中，候选项数量通常远超特征维度，而只有线性奖励能够在未见过的响应上进行评估。因此，我们提出了一种新方法：对线性部分在每个错误比较上施加惩罚。该方法同时最小化总松弛量和违反次数，并通过参数 $\lambda$ 在二者之间进行权衡。我们证明，总松弛量关于 $\lambda$ 单调但会饱和：提高 $\lambda$ 会减少所部署线性奖励的违反次数并增加松弛量，但松弛量始终低于 $(\eta+\Delta\sqrt{d})\lfloor m^2/4\rfloor$，其中 $\Delta$ 和 $d$ 分别是特征的直径和维度。在合成偏好数据和真实世界偏好数据上的实验验证了我们的理论，并表明该方法输出的线性奖励优于线性 BTL。