温度，而非知识：递归自训练及其补救措施如何影响语言模型的置信度

递归自训练可能导致语言模型崩溃，许多提出的补救措施都针对过度自信，但这些措施对置信度的影响却很少得到测量。我们在 Qwen3-1.7B 上研究了一个包含五轮迭代的自训练循环，对每种参与比较的方法使用三个随机种子，并区分了置信度温度（相对于已校准起点的漂移）与区分能力（将正确答案排在错误答案之前的能力）。准确率和整体区分能力几乎保持不变，但置信度分布变得更加尖锐，置信度最高的答案反而变得更不可靠。在每一轮中，将预测熵匹配到已校准的初始模型，无论在 1.7B 还是 8B 规模下，其重新校准效果都几乎与基于标签的温度拟合相当。置信度分布变尖锐并非自训练的固有属性：从模型分布中精确采样所得样本的期望梯度为零。相反，大部分漂移源于对每个生成答案拟合两次，其余则由 top-p 截断造成；同时去除这两个因素后，生成输出的熵保持稳定。各类补救措施对这两种属性的影响不同：截断交叉熵、熵奖励和单遍训练能够维持温度，却不能改善区分能力；而焦点损失和多样本目标能够改善区分能力，却会导致置信度不足。混入参考数据同样会矫枉过正。将能够改善排序的损失函数与无需标签的重新校准相结合，可以兼顾这两个目标。