用于策略优化的偏好获取及其在使心脏移植符合人类价值观中的应用

arXiv:2608.28620v2 公告类型：replace-cross 摘要：偏好获取对于使 AI 系统符合人类价值观至关重要。以往的方法（例如用于器官分配的方法）通常要求利益相关者比较算法的决策（例如选择患者 A 还是患者 B）。这种决策层面的方法混淆了手段与目的。与之不同，我们直接获取对分配结果的偏好，以学习用于策略优化的效用函数。我们构建了一种针对线性效用的新型偏好获取算法，其实际表现优于以往技术。我们的算法分为两个阶段。第一阶段通过成对比较学习切割平面，以快速缩小可能的属性权重空间，并通过排除被支配区域为第二阶段提供热启动。随后，第二阶段以可证明的方式收敛到用户的效用函数。我们将该技术应用于心脏移植分配，这一场景中的策略必须平衡移植后结局、等待名单死亡率、地理便利性和公平性等相互竞争的目标。我们使用该算法开展了一项用户研究，以学习并聚合出符合人类价值观的效用函数。我们将这种线性表示与基于 LLM 的方法进行比较，后者获得了用户提供的自然语言解释，结果发现，这些方法均未比学习得到的线性效用更准确。我们使用得到的效用函数优化心脏移植策略，使其显著更符合人类价值观。与事后最优方案相比，现行策略的竞争比仅为 0.66，而我们的方法以 0.95 的竞争比接近最优。