学会停止而无需学习停止：自监督置信度训练提升推理效率

推理模型通常会生成很长的推理轨迹，使推理在计算上代价高昂。现有方法通常通过推理时的提前停止机制，或在训练中明确鼓励更短的推理来提升效率，例如使用带长度惩罚的强化学习。我们表明，可观的效率提升也可以来自另一种监督：\textit{置信度}。通过一种自监督流程，我们仅使用 600 个训练问题，对推理模型进行微调，使其在自身推理轨迹的中间节点预测其对答案的置信度。置信度仅作为训练目标使用：损失函数中不包含任何针对推理长度、效率或停止的目标。在推理时，微调后的模型使用标准生成流程，不进行置信度引出，也不采用提前停止机制。尽管如此，自监督置信度微调仍使推理更加高效，在数学、科学和代码推理基准上，对于 Gemma、Qwen、Nemotron 和 GPT-OSS 模型，在准确率相当的情况下可将生成的 token 数减少多达 25\%，其效率提升与显式优化更短推理的方法相当。对推理过程的分析进一步表明，置信度监督在很大程度上保留了基础模型的高层推理组成，而不是选择性地抑制特定行为。我们的结果表明，高效推理可能是学习元认知信号的下游结果，而无需直接对其进行优化。