面向多目标对齐的目标条件化主动偏好学习
Objective-Conditioned Active Preference Learning for Multi-Objective Alignment
精选理由
按目标挑选最能改变策略的偏好标注，以更低成本训练多目标对齐，并利用偏好冲突提升效果。
AI 摘要
arXiv:2611.05506v1 公告类型：新论文 摘要：将大语言模型（LLMs）与有用性、无害性和诚实性等多个目标对齐，通常依赖于针对每个目标的偏好判断，因此标注成本随目标数量线性增长。主动偏好学习可以通过选择那些标签预计会使策略发生最大变化的比较来降低这一成本。现有方法要么缺乏适用于多目标场景的目标感知查询选择机制，要么将相互冲突的偏好视为有害信息，因而将其排除在训练数据之外。我们提出了 OGC-DPO（Objective-conditioned Gradient Coverage DPO），这是一种主动学习框架，将每个（回答对，目标）组合视为独立查询，并通过策略自身的隐式梯度衡量其信息量，无需依赖外部奖励模型。随后，OGC-DPO 选择能够最大程度扩展各目标梯度覆盖范围的查询。在不同目标数量下开展的实证实验表明，在相同标注成本下，OGC-DPO 优于现有主动偏好学习方法。进一步分析表明，具有信息量的冲突并非一概有害，反而能为策略训练提供有用的信号。