V-ECE：估计一般期望校准误差

arXiv:2602.24230v2 公告类型：替换交叉版本 摘要：在概率分类中，校准误差（CE）衡量预测概率 $f(X)$ 与 $\mathbb{P}(Y|f(X))$ 之间的平均差异，其中后者是针对该预测概率的真实类别分布。校准误差是一种有用的诊断工具，但很难估计：流行的基于分箱的估计器通常不一致，并且在类别数超过两个时扩展性较差。近期研究将 CE 重写为模型相对于其自身预测结果的最佳再校准所产生的超额风险，并使用适当损失进行度量。然而，这种方法仅适用于基于 Bregman 散度的校准误差（如平方误差），无法处理更为常用的基于 $L_1$ 距离的 CE。我们表明，使用依赖于预测的适当评分可以缓解这一限制，从而能够利用一般凸散度估计 CE，其中包括在二分类和多分类场景下具有封闭形式损失的 $L_p$ 距离。为估计超额风险，我们引入了一种更准确的再校准器：通过梯度提升，将残差拟合到温度缩放结果上。所得的变分估计器 V-ECE 无需分箱或聚类，并且在期望意义下为真实校准误差提供下界。在一个由真实分类器构建、且真实 CE 已知的半合成任务基准上，对于每一种校准误差，V-ECE 都是最准确的二分类估计器之一，并且显著优于所有多分类估计器。我们的研究还给出了关于 $L_p$ CE、估计器偏差以及过度自信或信心不足估计的补充理论。