选择性预测区间：联合学习预测、定界与弃权

arXiv:2611.06158v1 公告类型：新稿 摘要：许多高风险回归决策同时要求模型提供三项能力：用于采取行动的点估计、用于界定行动风险的区间，以及在两者都不可信时选择弃权的能力。深度学习目前分别提供这些能力：预测区间方法为每个输入返回一个区间，至多再给出区间内的一个数值估计；而选择性预测方法学习何时弃权，但仅针对点预测，且不说明真实值可能偏离估计值多远。我们提出 SelPI，在带有显式接受率预算的单一损失下，联合训练区间预测头、数值预测头和弃权头。一个自然的质疑是，区间宽度已经能告诉我们何时应当弃权。我们证明事实并非如此：在 18 个表格数据基准上，区间宽度能较好地预测较大的点预测误差（AUROC 为 0.72），却与区间未覆盖真实值的情况负相关（AUROC 为 0.38），因此，对宽区间弃权恰恰会丢弃那些区间预测正确的输入。因此，SelPI 使用两个门控进行选择，一个基于区间损失训练，另一个基于数值损失训练，并通过 Fr'echet 惩罚项将两者耦合，把各自的预算与它们实际实现的联合接受率关联起来。在保持基础预测器不变的情况下，学习得到的门控在全部 18 个表格数据集上的适当区间评分均优于宽度阈值法，与理想选择器的差距缩小比例的中位数达到 87%；同时，它在每个数据集上也都优于基于深度集成分歧的选择方法。这一优势随任务异方差性的增强而增大，我们也报告了该优势消失的情形。