通过局部信赖域优化推导同策略蒸馏的词元效用

arXiv:2610.18883v1 公告类型：新论文 摘要：同策略蒸馏（OPD）的词元选择方法利用多种信号，包括不确定性、教师与学生之间的分歧以及失配方向，对学生访问过的位置进行优先级排序。我们则直接从蒸馏目标本身推导词元重要性：在对学生预测分布施加相同的局部 KL 预算时，每个位置的损失能降低多少？答案是效用 $s_t=g_t^\top F_t^\dagger g_t$，其中 $g_t$ 为 logit 梯度，$F_t$ 为类别分布的 Fisher 矩阵。对于反向 KL，该效用等于以学生分布加权的学生与教师对数概率比的方差；对于正向 KL，它等于 Pearson $\chi^2$ 散度，因此，适当的效用取决于所选目标。在相同的训练检查点上，当选择比例为 50\% 时，包括学生熵、KL 分歧和 TIP 在内的若干基于不同动机提出的准则，与推导出的效用几乎将重要性集中在相同的位置；而在更严格的选择比例下，以及对于特定方向的准则，它们则表现出差异。我们将该效用具体实现为 Fisher Utility Weighting（FUW），一种经均值归一化的连续词元加权方法。在七个数学推理基准和三组 Qwen3 学生—教师配对上，无论采用反向 KL 还是正向 KL，FUW 均优于匹配设置下的均匀加权 OPD，宏平均分数分别提升 1.35–4.0 分和 1.08–2.71 分；同时，仅凭一个从训练目标推导出的闭式评分，FUW 就能与现有选择性方法相媲美。