arXiv cs.LG精选73

扰动二阶校准的极小极大速率

The Minimax Rate of Perturbed Second-Order Calibration

· 5天前

精选理由

深度 92 / 新颖度 85,来自 arXiv cs.LG。

AI 摘要

arXiv:2605.07808v2 公告类型:替换 摘要:二阶校准误差刻画了高阶预测器的认识不确定性估计与其水平集上标签概率的条件方差之间的匹配程度。我们刻画了在对分类器输出施加小扰动的情形下,二分类中二阶校准误差估计的极小极大速率。我们的方法十分简单:向分数坐标添加相互独立、带宽为 $h$ 的 sech 噪声,然后使用低阶多项式,根据扰动后的分数对 $Y^{(1)}$ 和 $Y^{(1)}Y^{(2)}$ 进行回归。关键在于,sech 扰动使校准函数在适当的带状区域内解析。所得估计器的误差为 $O_h(\log^{3/2}n/\sqrt n)$,且具有显式常数。在相同设置下,一个匹配的 $\Omega(1/\sqrt{n})$ 下界表明,该方法除对数因子外达到了极小极大最优性。作为推论,我们给出了扰动二阶 Platt scaling 的有限样本保证,从而得到一种事后处理方法,可同时重新校准扰动高阶预测器的均值预测和认识方差估计。与此同时,我们给出了二阶校准误差的显式双矩公式,并定量地将其与 Ahdritz et al. [2025] 的分桶公式联系起来。实验结果验证了所预测的速率以及重新校准后不确定性的质量。

查看原文(arXiv cs.LG)