风险科学在 AI 公平性评估中的应用：原则、挑战与最佳实践

旨在描述扩散中的技术（尤其是与人工智能或其他算法系统相关的技术）对社会可能产生影响（例如风险）的学术研究，很可能会超出其所面向的科学共同体而产生影响，因为一般社会本身就是研究的主要对象。然而，目前 AI 评估研究的实践是否遵循风险科学所确立的原则和最佳实践仍是一个悬而未决的问题；风险科学旨在系统地生成与理解、评估、沟通、管理和治理风险相关的知识。在本研究中，我们通过对一批学术工作的文献综述深入探讨这一问题，这些工作声称评估用于招聘和就业相关任务的技术系统中的偏差或公平性。通过分析 22 种常见的公平性评估指标及使用这些指标的研究，我们发现，大多数研究对偏差或公平性相关后果的严重性进行了刻画，但并未遵循最佳实践来描述这些后果发生的不确定性，或严重性估计的不确定性。随后，我们对一个 AI 介导的简历筛选任务进行了公平性评估案例研究，并展示了如何将风险科学原则纳入此类评估。最后，我们提出了 AI 风险报告卡，它有助于将风险评估结果报告和传达给处于能够根据预测风险采取行动位置的利益相关方。这些活动的结果表明，风险科学与 AI 评估交汇处的进一步研究，能够通过建立共享框架来评估和讨论 AI 风险，无论是在科学共同体内部还是外部，都有助于推动 AI 社会影响评估的发展。