先表征，再蒸馏：大输出空间中的机制性推理

arXiv:2606.06840v2 公告类型：replace-cross 摘要：经过推理训练的语言模型能够以零样本方式执行多标签任务，从数千到数十万个候选标签中选出一小组相关标签。我们探究它们在机制层面如何做到这一点，以及这种机制能否被蒸馏。为使这一问题可度量，我们将每次决策视为一个词元级事件，并用模型自身的决策间隔对其评分：包括选定标签空间中某个粗粒度区域的词元、在该区域内选定标签的词元，以及输出开始偏离推理过程中先前提及的某个相近备选项（近似误选项）的词元。随后，我们通过归因、精确均值消融、向另一示例的上下文中进行植入，以及降低通用注意力头影响的零假设校准，确立单个注意力头的因果作用。在医院出院小结的临床编码任务（MIMIC-IV）中，当全部 5,651 个候选诊断代码均置于上下文内时，消融和植入实验表明，一小组全局性的、按阶段组织的注意力头对几乎每份小结都具有必要性和充分性；不同的注意力头族分别关注候选区域，并回溯关注先前提及的近似误选项；而对于在推理过程中已作出判定的提及项，在代码出现前的数个词元处，就已能从另一组读取输入、与上述注意力头不重叠的中间层注意力头中诱导出相应区域。我们提出 MISTILL：与仅传递教师模型推理文本的思维链蒸馏不同，它还在这些确切的决策事件上监督学生模型的池化注意力。以训练后识别出的注意力头为评估对象时，它使跨模型家族学生模型对对比决策的因果恢复能力几乎翻倍；对于已具备其中大部分能力的学生模型，它则带来了幅度较小、但跨随机种子稳定的提升。当两种目标均用于训练 bf16 权重时，未检测到任务表现差异；而使用 fp32 主权重时，则存在任务表现损失。