没有真实基准的效度：陈述偏好经济学为语言模型评估提供了什么

如今，向大型语言模型提出的许多问题都没有可用于评分的正确答案：一项政策价值几何、用户应选择哪个选项、如何权衡相互冲突的价值观。陈述偏好经济学数十年来一直面临这一问题。它通过效度及相关概念构成的框架，在不知道真实价值的情况下评判调查回答；这些概念包括内容效度、构念效度、准则效度、信度、激励相容性和后果性。我们认为，这一框架是评估语言模型的一种通用方法，并阐明了各个概念对 LLM 评估的意义。我们使用一项已发表的水质陈述偏好经济估值调查（Vossler et al. 2023），对六个模型施测，以展示这一方法。在这一经济学应用中，效度检验表现为经济理论所预测的关系：需求曲线应向下倾斜，支付意愿应随物品的范围和收入而变化。这些检验清晰地区分了各个模型。两个较早的模型在家庭收入为 75,000 美元的情境下未能通过最基本的检验，而两个最新的模型通过了我们能够评分的所有理论效度检验，但在收敛效度上表现不同。通过效度检验表明模型的回答具有一致性，并不意味着这些回答是正确的。