Latent-MOPD：潜在表示多教师同策略蒸馏

arXiv:2610.02381v1 公告类型：新论文 摘要：同策略蒸馏（OPD）利用学生模型自身生成的回答对其进行训练。现有的大语言模型多教师 OPD 通过各专家模型的输出分布传递其预测信息。我们提出 Latent-MOPD，据我们所知，这是首个面向大语言模型的表示层面多教师 OPD 方法。该方法通过现有专家模型的预测结果及用于计算这些预测结果的隐藏状态，整合其能力，无需额外训练教师模型。为协调来自多个专家模型的表示监督，我们根据教师与学生之间的关系选择靠后层的监督目标，通过共享投影衔接不同的隐藏层宽度，并按领域组织更新。每个教师模型的监督逐渐从隐藏状态转向词元预测，两个通道均使用同一个经路由选定的专家模型。在主要的同系列模型设置中，Latent-MOPD 在涵盖数学、代码和逻辑的全部九项基准测试上，均优于仅使用词元监督、仅使用表示监督以及均匀平均的基线。在参数量与每个教师模型相同的情况下，学生模型在其中大多数基准测试上还超越了各项基准中表现最好的教师模型。当使用规模更大、独立开发的跨系列教师模型时，Latent-MOPD 在所有基准测试上均优于两种单通道基线。在同系列模型设置下，一个仅使用全层表示监督的对照方案在每次更新仅涉及单一领域时保持稳定，但当一次更新中交错混合不同教师领域时则会崩溃。我们的结果表明，单个学生模型能够通过多个专家模型的输出分布和内部表示，整合它们的能力。