可操控的多元化策略对齐：基于匿名群体反馈

arXiv:2610.26914v1 公告类型：new 摘要：多元化对齐要求 AI 系统从具有多样性的群体中学习，这些群体的偏好可能反映出异质甚至相互冲突的目标，并且系统还需针对个体用户实现行为个性化。现有的多元化对齐方法通常假设可以获取标注者身份，并依赖强大的预训练表征来建模个体偏好的差异。我们提出 Preference-PCA Pluralistic Learning（P3L），一种用于多元化对齐的新框架。该框架通过对来自异质群体反馈的轨迹嵌入和偏好方向共享基进行 PCA 分解，联合学习二者，且无需标注者身份。在测试时，我们的方法能够快速、准确地进行个性化奖励学习和下游策略优化。在多个具身控制任务上的实验表明，P3L 能够实现可操控的个性化对齐，其泛化能力超越离线数据集，适用于分布外的新用户，并取得具有竞争力的 RL 和测试性能，同时显著降低计算成本，并支持可变的适应查询预算。