用于恢复个体和群体层面效应的 AI 情境测量:与调查测量的验证及一个职业应用
AI Contextual Measurement for Recovering Individual and Group-Level Effects: Validation Against Survey Measures and an Occupational Application
精选理由
提出AICOME框架,帮助用AI恢复个体与群体效应。
AI 摘要
研究人员正越来越多地使用人工智能来构建传统调查中缺失的社会、组织和职业特征测量。我们提出 AICOME,AI COntextual MEasurement,一种用于评估基于 AI 的受访者层面测量是否能够恢复情境模型中的个体和群体层面效应的框架。其核心思想是:在受访者层面构建的 AI 测量可以用于推导其群体层面的聚合值和个体偏离值,从而使研究者能够估计组间和组内关联,而不是仅仅将 AI 测量视为对响应的预测。 我们使用 2022 年中国家庭追踪调查(CFPS)对该框架进行验证,其中职业提供了经验分组结构,若干与工作相关的调查变量提供了验证基准。对于计算机使用、外语使用、每周工作时长和管理职责,我们在响应层面、模型层面、情境层面和边界条件验证中比较了调查测量与 AI 生成测量。结果表明,当可获得丰富的受访者和工作特征时,AI 情境测量可以恢复观测调查变量中所包含的大部分情境模型信息。每周工作时长提供了最强的验证案例,AI 生成测量再现了 CFPS 中观察到的与满意度之间显著的职业间和职业内负相关。该框架还识别出明确的边界条件:当信息仅限于职业和基本人口统计特征时,性能会下降;当若干相关概念被同时视为未观测时,恢复效果也会较弱。研究结果表明,AICOME 最适合从丰富的现有数据集中恢复少数具有理论重要性的构念。