散度控制蒸馏中的熵

arXiv:2610.03529v1 公告类型：新增 摘要：蒸馏已成为大语言模型训练的核心基本操作，但其性质尚未得到充分理解。我们从熵的角度出发，研究学生模型的熵如何取决于定义蒸馏目标的数据和散度。我们证明，前向 KL 会使学生模型的熵高于教师模型的熵。由于交叉熵训练是一个特例，这一结论给出了一个恒等式，我们在预训练和有监督微调中对其进行了定量验证。其他散度则没有这样的保证：反向 KL 会降低熵，直到学生模型与教师模型之间的差距过大；而在二者之间进行插值，会使熵在训练早期平滑变化，却在收敛时发生突变。基于策略的蒸馏具有更低的熵，其原因来自 token 级别的反向 KL，而不是基于策略的采样。因此，散度充当了一种隐式熵正则化器，其作用在自蒸馏中最为明显：随着基于特权信息的条件化使熵降低，表现最佳的散度超参数正是那些能够对此进行补偿的超参数。