arXiv cs.LG精选78

考察 LLM 推理中的社会归因:一种理论引导的探究方法

Examining Social Attribution in LLM Reasoning: A Theory-Guided Probing Methodology

· 5天前

精选理由

系统评估大模型责任归因推理,揭示其与人类判断的差异及内部机制。

AI 摘要

arXiv:2610.12022v1 公告类型:cross 摘要:大型语言模型(LLM)正日益部署于社会技术系统中,其中社会归因——将外部事件归因于行动者社会行为的原因和理由的推理过程——发挥着关键作用。这些过程涉及对社会原因、责任以及对行动者的责备/赞誉进行判断。尽管归因模型已通过归因理论在社会心理学和认知领域得到充分研究,但社会归因在人工智能领域,尤其是 LLM 社会推理中的研究仍不充分。本文首次对 LLM 社会归因进行了系统性探索。我们的工作聚焦于责任归因和责备归因,考察当前 LLM 的判断及其底层内部机制。在归因理论的指导下,我们构建了一个社会归因基准,其中包括基于归因理论研究中经典情境的 Vignette 子集,以及基于现实世界社会叙事的 Reality 子集,共产生 7,639 个责任/责备判断问题。在此基础上,我们评估了 32 个具有代表性的 LLM 和 5 个基础非 LLM 基线模型。为进一步探索 LLM 判断过程背后的内部机制,我们开发了一种基于探究的方法,用于研究 5 个关键归因维度在潜在空间中的表征,以及这些维度对 LLM 判断的影响与人类社会归因中的影响是否保持一致。研究结果表明,当前 LLM 在责任和责备判断方面与人类表现出可测量但并不完整的一致性,同时,这种一致性与模型规模呈正相关。一些归因维度可以从 LLM 隐状态的特定位置系统性地解码出来,并且它们对最终判断的影响与人类归因理论所揭示的影响一致。数据集及相关代码可从 https://github.com/Yuzhaoxin946/SAB-Bench 获取。

查看原文(arXiv cs.LG)