超越奖励评分：用于多模态响应生成的在线多智能体偏好学习

多模态偏好对齐通常遵循基于评分的 RLHF 流程：首先训练奖励模型以学习人类偏好，然后用其对策略生成的响应进行评分，并优化响应模型的生成过程。这将偏好监督转化为用于生成的标量信号：模型可能学会生成偏好得分更高的答案，但很少会接受显式训练来学习人类偏好背后的原因。因此，我们探讨：如果将偏好理解能力转化为响应模型的内在能力，是否能够提升其生成效果。为研究这一问题，我们提出 \textbf{PrefMind}，一种在线双智能体强化学习框架，其中包含两个可训练智能体：负责生成响应的生成器和负责偏好判断的批评器。给定一对候选响应后，两个智能体会分析并讨论哪一个响应更符合人类偏好。人类标注监督它们的判断与修正。对于生成器和修订后的批评器都能正确识别人类偏好响应的样本对，生成器会生成改进后的答案，而批评器则将其与原始偏好响应进行比较，以提供生成奖励。两个智能体均根据使用当前策略采样的交互数据进行联合更新。通过这一过程，\textbf{PrefMind} 通过显式判断与修正训练生成器理解人类偏好，并将这种理解转化为更优的响应。在三种模型规模上的实验表明，该方法在独立偏好判断和下游响应生成方面均取得了提升。