无意双关:用于以人物为中心的 LLM 评估的合理未知姓名
No PUN Intended: Plausible Unknown Names for Person-Centred LLM Evaluation
精选理由
提出可验证的“未知姓名”构造协议,提升人名评测可信度。
AI 摘要
人名被广泛用作 LLM 在事实性、隐私泄露、偏见和拒答评估中的提示变量,但当一个姓名的证据状态不受控制时,测量结果可能会混淆记忆、检索、姓名先验和误认他人。我们将未知姓名操作化定义为:具有合理的“名-姓”形式、没有被索引的全名证据,并且在有记录的验证运行中不存在歧义信号;并引入 PUN(Plausible Unknown Names),这是一种用于构建和验证此类姓名的协议,结合了源自 Wikidata 的组成部分、支持联网的 LLM 筛查以及受控搜索再验证。我们报告了接受率、可复现性、消融实验和一项包含 204 名参与者的人类研究,发现被接受的姓名比对照更像人名,而参与者仅在 3% 的案例中找到了人物证据。我们发布了 300 个姓名及其比较对照。