学习何时思考：用于测试时计算分配的自适应推理

通过强化学习训练的推理语言模型通常在固定的 token 预算下运行，而不是采用明确自适应的预算，这可能导致在简单问题上过度计算、在困难问题上计算不足。我们研究模型能否通过将其回答的第一个 token 选择为三种模式之一来学习分配自身的推理 effort：\textsc{NoThink}（尽可能快速作答）、\textsc{Short}（简短推理）或 \textsc{Long}（扩展推理）。该选择是在 Group Relative Policy Optimization (GRPO) 内学习得到的，不使用单独的路由器；具体通过一种成形奖励，使每种模式在不同回答长度下都有价值，并结合严格的按模式 token 上限来保持各模式的区分。在一个基于 MATH 训练的 1.5B 蒸馏模型上，三种模式在没有坍缩为单一选择的情况下涌现出来，并且简短模式最终比 \textsc{Long} 更准确，这表明路由器是在按难度对问题进行分类，而不是随机分配。在三个随机种子上取平均后，所得策略在保留的 MATH500 上的准确率接近基础模型（$0.782$ vs.\ $0.796$），同时将平均回答长度从 $4{,}796$ 个 token 降至 $2{,}811$ 个 token（减少 $41\%$）。有趣的是，它还可以在不重新训练的情况下迁移到其他基准测试，在问题更容易的地方节省最多，例如在 GSM8K 上减少 76\% 的 token，并且在相近回答长度下准确率高于基线。简而言之，我们构建了一个能够针对每个问题自适应选择推理量的推理模型。