一步完成校准：联合学习准确且校准良好的神经网络
Calibration in One Go: Jointly Learning Accurate and Calibrated Neural Networks
精选理由
提出端到端联合训练方法，无需单独校准数据或额外参数，即可提升神经网络准确性与置信度校准效果。
AI 摘要
神经网络（NNs）虽然具有高度的灵活性和通用性，但往往校准不佳。事后校准方法使用独立的校准数据集和额外的校准参数，调整已训练模型的输出。这一过程需要单独优化校准器并进行后续模型选择，从而增加了开销。本文表明，通过双层 Stackelberg 建模，标准的事后校准器可以与骨干网络一起进行端到端训练。该建模方式使用交叉熵联合优化准确性与校准性能，无需独立的校准集或专门的校准损失，仅引入一个额外的超参数：校准器学习率。尽管我们的框架支持从温度缩放、矩阵缩放到神经网络层等多种校准器，但实验结果表明，直接将最终分类层用作校准器，即可在不增加任何参数的情况下，获得准确且校准良好的模型。我们的方法仅增加极少的复杂度，便优于当前最先进的校准器，同时还能避免在多任务学习等场景中，独立校准组件所带来的成倍开销。