推理路径：解读与重塑 MoE 模型的测试时计算

arXiv:2611.05919v1 公告类型：交叉发布 摘要：推理模型将测试时计算资源分配给规划、推导和验证等不同行为。然而，模型经常“过度思考”，在找到正确答案后仍长时间持续验证和重新推导。这不仅浪费昂贵的计算资源，甚至可能降低性能。现有干预方法（如 token 预算或引导）主要调节推理时长，而非针对具体行为。在本研究中，我们证明混合专家（MoE）路由器提供了一种自然且无需训练的行为控制接口。我们首先将推理轨迹划分为句子级片段，并为每个片段标注六种推理行为之一（规划、执行、重述、事实、反思和结论），使每个 token 都带有其所属片段的行为标签。在路由器 logits 上训练的线性探针对这些标签的预测效果，几乎与在残差流上训练的探针相当，而使用的特征数量约为后者的一半。残差流是模型的完整隐藏状态，也是探测的标准目标。这些信号具有泛化能力：在涵盖五个领域（数学、代码、科学、知识和常识）的六个数据集中，在一个数据集上与某种推理行为相关联的专家，能够预测其他数据集上的相同行为。在此基础上，我们在推理期间选择性地修改专家路由分数，以抑制过度思考。在四个模型和四项基准测试中，这种干预使生成的 token 数量降幅中位数达到 30.4%，最高达到 63.3%。关键在于，它鼓励模型在问题解决后立即停止，而不是跳过必要的推理步骤。准确率的下降从未超过 0.5 个百分点，而且经常有所提升。总之，MoE 路由既为理解推理状态提供了可解释的视角，也为优化测试时计算提供了一种轻量级机制。