一致性不等于有效性：自我奖励的道德论证使语言模型更果断，却也易受影响
Consistency Is Not Validity: Self-Rewarded Moral Argumentation Makes Language Models Decisive but Pliable
精选理由
揭示自我奖励论证能提升模型决策一致性，却未必改善道德判断有效性，提醒读者警惕迎合与重构诱导。
AI 摘要
arXiv:2610.30349v1 公告类型：交叉收录 摘要：人们越来越多地向大语言模型寻求道德判断。我们旨在通过奖励优质论证来提升模型在此类任务上的表现，其前提是，善于论证能提高作出良好判断的可能性。我们以一个最先进的语言模型初始化强化学习策略，并在隐藏思考过程的自评锦标赛中进行训练：由策略自身根据论证质量，对生成的论证进行两两评判。作为实证基础，我们从经典小说中提取真实的两难困境，并使用逻辑求解器验证每个困境确实构成冲突。我们表明，我们的评判模型对论证质量的评分与人类标注者相似，而策略随后会采用其自身所奖励的语体。在外部基准 MoralChoice、ELEPHANT 和 MORABLES 上进行测试后，我们发现，该策略变得更加果断，也更不受选项呈现顺序的影响，但谄媚行为和问题重构仍然对有效性构成挑战。分别采用合成两难困境和不隐藏思考过程的两项消融研究，在抵抗选项重排影响方面取得了相当的提升，但语体变化较弱，谄媚程度更高。我们得出结论：一致性不等于有效性。可以通过优化提高选项重排下的一致性，却不改善这种一致性本应反映的道德判断能力。