变相的标签平滑？面向低资源孟加拉语生成的门控知识蒸馏

门控知识蒸馏（KD）按词元或样本对教师信号进行加权，旨在仅在不完美的教师看似可靠时才信任它。我们测试了两种门控机制：EWAD（熵加权的一致性感知蒸馏），根据教师置信度对词元进行门控；CHAD（反事实危害感知蒸馏），根据梯度与验证数据梯度的对齐程度对样本进行门控。在涵盖六项以孟加拉语为中心的任务、三个学生模型（参数量从 6000 万到约 20 亿）和两个教师模型系列的 45 次比较中，没有任何门控机制显著优于普通 KD。在 40 次单随机种子比较以及四项任务上的三随机种子实验中，KD 也未能胜过基于标准答案输出的交叉熵（CE）微调；CE 在所有摘要生成指标上均领先。KD 的主要收益在于正则化：在固定训练十个轮次的情况下，相较于早停检查点，CE 学生模型的词元级 F1 下降了 0.030 至 0.044，而蒸馏学生模型仅下降了 0.005 至 0.025。无需教师的标签平滑弥合了这一差距的大部分。在一次比较中，词元级 F1 低 0.29 的教师所训练出的学生模型，词元级 F1 最多仅低 0.009。因此，门控可能改变正则化强度，但几乎没有可供筛选的教师知识。这些发现仅适用于以孟加拉语为中心的任务和小型学生模型。我们将发布代码、数据划分、预测结果和评分。