arXiv cs.AI精选80

风险控制认证的是发生率,而非幅度:对选择性胎儿生物测量的审计

Risk Control Certifies Rates, Not Magnitudes: An Audit of Selective Fetal Biometry

· 1天前

精选理由

揭示风险控制只能保证严重错误的发生率,不能限制误差幅度,并展示解剖范围约束如何更有效地避免离谱测量。

AI 摘要

产前超声生物测量必须给出头围(HC),并在图像不足以支持测量时拒绝输出。选择性预测在覆盖率与误差之间进行权衡,但其有限样本保证约束的是严重误差的发生率,而非误差幅度。我们对一个以工具为基础的生物测量流程进行了审计:将 999 张带标注的 HC18 图像按两个分别预注册的方案各划分为四个子集,并在每种划分下重新训练分割模型三次。通过精确 Clopper-Pearson 风险控制校准轮廓完整性阈值,得到的认证结果与手动设定下限时无异,但该流程仍输出了一个误差达 271.3 mm 的结果:在真实 HC 为 324.6 mm 的图像上,拟合出了一个尺寸很小、几何上却完整的环。这个被接受的候选轮廓完整性得分为 0.94,因此该评分无法识别这一失效;而在约 $\approx 150$ 个输出中出现一个离群值,并不会破坏已认证的风险界限($α= 0.10$)。第二个未经使用的划分在另一张图像上复现了这一失效机制(误差为 233.3 mm)。相比之下,约束容许区域——即被测量在解剖学上有定义的范围——可以消除这类失效:将下限从 50 mm 提高到 55 mm,仅损失 0.4 个百分点的覆盖率,就能将两个划分上的最坏情况误差分别降至 11.4 mm 和 11.1 mm;而通过完整性阈值抑制这类失效,则分别需要损失 19.0 和 12.1 个百分点的覆盖率。当下限设为解剖学界定的 70 mm 时,冻结后的测试得到的平均绝对误差(MAE)分别为 1.91 mm 和 1.81 mm。

查看原文(arXiv cs.AI)