arXiv cs.LG精选74

道德具有情境性:利用概率聚类和大型语言模型从人类数据中学习可解释的道德情境

Morality is Contextual: Learning Interpretable Moral Contexts from Human Data with Probabilistic Clustering and Large Language Models

· 9天前

精选理由

提出可解释的道德情境学习框架,提升AI对人类道德判断的对齐与解释能力

AI 摘要

arXiv:2512.21439v2 公告类型:替换-交叉版本 摘要:当前 AI 对齐研究中的一个关键问题,是如何让 AI 算法学习道德价值观。由于人类道德高度依赖情境,人们评判行为时不仅看其结果,也看行为发生的情境。我们提出 COMETH(Contextual Organization of Moral Evaluation from Textual Human inputs),这是一个将概率情境学习器、基于 LLM 的语义抽象与人类道德评价相结合的框架,用于建模情境如何影响对模糊行为的可接受性判断。我们构建了一个以实证为基础的数据集,涵盖围绕三条道德规则的六类核心行为的 300 个情境(违反“不得杀人”“不得欺骗”和“不得违法”),并收集了 N=101 名参与者的三分类判断(责备/中立/支持)。预处理流程通过 LLM 筛选器以及结合 K-means 的 MiniLM 嵌入,对行为进行标准化,生成稳健且可复现的核心行为聚类。随后,COMETH 根据人类判断分布,使用有原则的散度准则对情境进行在线聚类,从而学习特定于行为的道德情境。为推广和解释预测结果,Generalization 模块提取简洁、非评价性的二元情境特征,并在基于透明似然的模型中学习特征权重。实证结果表明,与端到端 LLM 提示相比,COMETH 与大多数人类判断的一致性得分大约提高了一倍(平均为 60%,而非 30%),同时揭示了哪些情境特征驱动其预测。本文的贡献包括:(i)一个以实证为基础的道德情境数据集;(ii)一个将人类判断、基于模型的情境学习和 LLM 语义相结合的可复现流程;以及(iii)相较于端到端 LLM,在情境敏感的道德预测与解释方面更具可解释性的替代方案。

查看原文(arXiv cs.LG)