一步完成校准：联合学习准确且校准良好的神经网络
Calibration in One Go: Jointly Learning Accurate and Calibrated Neural Networks
精选理由
该方法端到端联合优化预测准确性与置信度校准，免去独立校准数据和额外参数，降低部署开销。
AI 摘要
arXiv:2610.13693v1 公告类型：新论文 摘要：神经网络（NNs）虽然具有高度的灵活性和通用性，但往往校准不佳。事后校准方法使用单独的校准数据集和额外的校准参数，调整已训练模型的输出。这一过程需要单独优化校准器并进行后续模型选择，从而增加了开销。本文表明，通过双层 Stackelberg 形式化建模，标准的（事后）校准器可以与骨干网络一起进行端到端训练。该建模方式利用交叉熵联合优化准确性与校准效果，无需单独的校准集或专门的校准损失，仅引入一个额外的超参数：校准器学习率。尽管我们的框架支持从温度缩放、矩阵缩放到神经网络层等多种校准器，但实验结果表明，直接将最终分类层用作校准器，即可在不增加任何参数的情况下，得到准确且校准良好的模型。我们的方法仅增加极少的复杂度，便能超越当前最先进的校准器，同时还能避免在多任务学习等场景中，独立校准组件带来的成倍开销。