教师设定不匹配下的知识蒸馏：教师模仿与任务性能之间差距的序参量分析

知识蒸馏训练一个较小的 student model 去复现大型 teacher model 的输出，其进展通常通过 teacher--student 差异来监测。然而，真正重要的量是 student 相对于真实任务的误差。我们在一个最小的三方模型中研究这两个目标之间的关系：一个真实 teacher（生成模型）、一个 teacher 和一个 student，三者都是 soft committee machines，其中真实 teacher 包含一个 teacher 无法表示的共享潜在因子，失配强度由单个标量 $\dmiss$ 控制。在基于序参量的在线蒸馏描述中，并利用 error-function 激活下所有误差的闭式（反正弦型）表达式，我们证明学习动力学和蒸馏误差 $\Ets$ 对 $\dmiss$ 完全不变，而真实误差 $\Etzs$ 以及差距 $Δ=\Etzs-\Ets$ 随 $\dmiss$ 严格增大，其增长率还会被真实 teacher 的复杂度 $M_0$ 线性放大。对由真实 teacher 复杂度和 student 容量张成的平面上的数值相图验证了这一预测变形：$\Ets$ 的等高线不发生移动，而 $\Etzs$ 的景观系统性上升，并且随着 $\dmiss$ 增大，一个 teacher-miss 区域——即模仿成功但任务失败——不断扩展。结果为仅通过 teacher 模仿指标评估蒸馏提供了定量警示，并将差距 $Δ$ 确定为区分 teacher-miss 与容量受限失败的最小诊断指标。