我们应该更多地听取谁的意见？面向多元化对齐的福利感知偏好获取

arXiv:2610.19035v1 公告类型：新论文 摘要：多元化对齐需要在有限的人类反馈下兼顾不同的偏好。使用 AI 模拟器为偏好比较提供标签可以降低标注成本，但针对不同个体的模拟准确性差异，可能导致部分人的偏好在训练中未能得到充分体现。我们研究如何在不同个体之间分配人类反馈，以构建用于多元化对齐的训练数据，以及这种分配如何影响训练得到的策略。为使这种分配明确且可控，我们基于衡量标签质量的个体监督效用定义了社会福利目标。每次查询的边际福利增益取决于其预期带来的监督改善、反馈接收者的当前效用，以及应用指定的优先级。Welfare-Aware Preference Acquisition（WAPA）使用辅助参考模型估计查询增益和个体效用，然后根据估计的边际福利增益选择查询，同时更新反馈接收者的效用。我们证明，在查询预算和模型预测固定的条件下，该获取算法对于估计的福利目标具有精确最优性。在六个 Roleplay 数据集和四个 OpinionQA 地区上的实验表明，该方法能够改善监督质量，并实现可控的分配权衡。在四个 Roleplay 数据集上进行的策略训练提升了对已见个体和未见个体的偏好预测能力。当优先考虑指定群体和偏好未被充分体现的个体时，仅为 20% 的比较获取人工标签，就能弥合完全使用 AI 生成标签训练的策略与完全使用真实标签训练的策略之间平均预测效用差距的 75%–86%。