依赖协变量的多元有序偏好联合建模及其与比较模型的联系
Covariate-dependent Joint Modeling of Multivariate Ordinal Preferences and Its Connections with Comparison Models
精选理由
联合建模保留多属性序数反馈与协变量信息，并提升偏好比较效果，为推荐和模型对齐提供更完整的方法。
AI 摘要
arXiv:2610.09070v1 公告类型：交叉发布 摘要：从使语言模型与人类偏好对齐到推荐系统等各类问题中，通常都会收集多元有序数据及其协变量。例如，MovieLens 等数据集包含人类用户对多部电影给出的 1 至 5 分评分，以及用户的年龄或性别等人口统计信息。类似地，HelpSteer 等数据集以有序量表收集人类对 LLM 回答的“有用性”或“冗长程度”等多个属性的反馈，其协变量取决于 LLM 的提示—回答对。遗憾的是，对这类数据进行建模的标准方法往往（a）单独考察各个属性，而非进行联合分析；（b）将数据转换为成对或列表式胜负比较，以拟合 Bradley--Terry 和 Plackett--Luce 等模型。这两种做法都会使实际观测信息粗化。为解决这一问题，我们提出了一种依赖协变量的联合连续比 Markov 随机场模型。我们还表明，对该联合模型施加限制即可得到成对或列表式比较模型，并且联合建模能够改善比较效果。此外，即使存在难以处理的归一化常数，我们也构建了相应的最大似然推断方法。