方向性验证蒸馏

arXiv:2610.00997v1 公告类型：cross 摘要：知识蒸馏旨在将大型语言模型中的事实知识迁移到更小的模型中，以实现高效部署。然而，教师模型可能能够回忆某个关系的一个方向，却无法生成反方向的答案。因此，从教师模型生成的答案中进行蒸馏，可能会将这种方向性局限传播给学生模型。尽管如此，同一个教师模型仍可能通过沿其掌握的方向对该答案进行评分来识别它。我们提出了方向性标签蒸馏方法：在该方法中，冻结的教师模型沿其已知方向对候选答案进行评分，并将得分最高的候选答案作为学生模型的训练目标。在关于父母及其子女的事实中，即使针对名称先验进行了调优校正，沿已知方向评分也比沿请求方向评分产生更准确的标签。在对先验进行校正的分数下，较优方向取决于事实本身而非模板；对于挖掘得到的、其中显著实体是父母而非子女的事实，较优方向会发生反转。在不提供所评估的子女正向事实的情况下，使用已知方向标签训练的学生模型，在其训练查询上的开放式准确率比使用先验校正后的反向标签训练的学生模型高出13至15个百分点。将生成的答案通过词汇相似度与固定名称列表进行匹配后，学生模型几乎能够复现所有被选中的标签。其准确率很大程度上取决于标签质量。在未经筛选的查询上，以及在检索候选答案时不插入正确答案的情况下，标签优势依然成立。我们的研究结果表明，方向性验证能够通过提供更准确的训练目标，减轻教师模型生成答案中的错误向学生模型传播的问题。代码见 https://github.com/js-lee-AI/directional-verification】【。