快速、廉价且公平?评估决策模型
Fast, Cheap, and Fair? Evaluating Decision Models
精选理由
揭示招聘型小模型的偏见、公平性与成本表现,提供可复现评测依据。
AI 摘要
各行业正日益采用 AI 驱动的系统来自动化执行广泛的任务,包括人力资源领域中事关重大的决策,例如候选人筛选与招聘。这使得评估其公平性至关重要,尤其是在决策直接影响个人机会的情况下。因此,EU AI Act 将招聘 AI 系统列为高风险系统,并对其部署提出严格要求。在这一背景下,小型“System~1”决策模型为通用 LLM 提供了一种快速且经济高效的替代方案,但其公平性在很大程度上仍未得到研究。本文首次对面向招聘应用的类型化决策模型 \jev{} 开展系统性的偏见与公平性审计。研究评估了明确的人口统计属性和隐含的候选人线索如何影响筛选分数、排名和入围结果。研究还将这些影响与通过替换姓名和改变排版得到的噪声基线进行了比较。此外,评估还考察了输出有效性、延迟和成本。为确保可复现性,研究发布了反事实简历数据集和评估代码。