临床预测 AI 中性能指标的可加性

背景：对预测人工智能（AI）的总体层面评估可能掩盖不同亚组之间的性能差异。公平性评估通常依赖于跨亚组的性能分析。然而，某些性能指标是不可加的，这意味着总体人群的性能值不等于各亚组特异性值的加权平均。 目的：考察预测 AI 中常见报告的性能指标的可加性特征，重点关注受试者工作特征曲线下面积（AUC，也称 c-statistic）。 方法：我们研究了 15 种性能指标的可加性，方法是将每个指标表示为其分层特异性值的线性组合；对于不可加的指标，则提供一个受 Simpson 悖论启发的反例作为形式性反证。 结果：5 种性能指标（AUC、校准截距、校准斜率、期望校准误差和 Nagelkerke R^2）被证明为不可加，10 种指标（O:E 比、logloss、Brier 分数、准确率、F1 分数、真正率、真负率、阳性预测值、阴性预测值和净获益）被证明为可加。AUC 被证明为不可加，因为当不同亚群共存时，它可分解为组内和组间 AUC 项，因此其总体值可能落在各亚组特异性 AUC 的范围之外。 结论：性能指标的不可加性对报告、模型评估和公平性评价具有重要影响。它可能在亚组与总体性能之间产生虚假的差异，从而误导公平性评估。明确承认并报告性能指标的可加性特征，有助于提高公平性评估的可解释性和透明度。