大语言模型推理的测试时校准学习

arXiv:2610.02695v1 公告类型：新 摘要：可靠的大语言模型（LLM）不仅必须生成准确答案，还必须表达能够忠实反映其答对概率的置信度。这种校准对于识别不确定预测以及支持现实部署中的可靠决策至关重要。近期研究将校准学习纳入强化学习（RL），利用真实正确性监督，联合优化答案正确性与语言化置信度。然而，这些方法依赖标注数据，限制了其在实际测试时场景中的适用性：在此类场景中，真实标签不可用，且校准可能需要适应新遇到的目标任务。为应对这一挑战，我们提出测试时校准学习（TTCL），这是一种无标签框架，能够直接利用未标注的目标任务数据，同时适应推理准确率与语言化置信度。具体而言，TTCL 从模型生成的多个响应中为正确性和校准推导自监督信号，从而无需真实标签即可在测试时进行校准学习。理论分析进一步证明，TTCL 是理想校准目标的有界替代目标。在数学推理和事实问答上的大量实验表明，TTCL 在多种模型和任务上持续提升准确率与校准效果。在基础模型上，TTCL 在八个基准测试中实现了平均相对准确率提升 +40.13%，并使 ECE 降低 +70.80%。此外，在领域偏移情况下，TTCL 还能进一步提升已完成校准模型的准确率与校准效果，尤其是在源领域校准难以迁移至目标任务时。在 math-to-factQA 设置下，TTCL 实现了平均相对准确率提升 +20.35%，并使 ECE 降低 +53.83%。源代码已发布于 https://github.com/tmlr-group/TTCL。