arXiv cs.AI精选84

人格设定并非人:身份是状态,而非属性

Personas Are Not People: Identity as State, Not Attribute

· 12小时前

精选理由

揭示固定人格模拟的根本局限,帮助更准确评估AI与人群行为。

AI 摘要

合成群体,即大规模模拟的人群,正日益被用于取代真实的人,以预先测试调查、模拟用户和社区,以及评估 AI 系统。每个模拟个体都由一个人格设定定义,即一份包含固定特征、人口统计信息和态度的书面档案,并由语言模型按照该档案进行演绎。所有这类系统都假定,一个人的身份是一种稳定属性,在模拟呈现的每种情境中都以相同方式发挥作用。我们表明,这一假定并非无害的简化。三十年来的个性研究得出了相反的结论。同一个人的行为在不同情境之间的变化,比人与人之间的差异更大。借鉴身份经济学——该领域描述不同情境如何在同一个人身上激活不同的身份和规范——我们将行为分为三个部分:稳定特征、情境所唤起的身份,以及情境本身。随后我们在两个明确陈述的假定下证明,任何建立在固定人格设定之上的模拟,无论人格设定多么详尽、底层模型规模多么庞大,都无法复现群体行为中由该群体及其所处情境特有的那一部分。我们据此提出一种新的评估标准,以及一种原则上能够满足该标准的“人—情境”设计。我们在一个自然情境下的 Reddit 个性语料库,以及一项已发表的临床试验招募调查上测试了该设计的一个版本;后者针对的是一个有记录显示不信任医疗机构的社区。直接测试表明,这一设计确实能够产生依赖情境的行为,但在这两种情形下,它都未能完全匹配真实群体,我们也展示了其不足之处。对实践而言,这意味着合成群体评估存在误述某些群体的风险:这些群体的行为最容易受到情境塑造,而更丰富的人格设定也无法纠正这种扭曲。

查看原文(arXiv cs.AI)