照我做，而不是照我说：视觉语言模型中的在策略蒸馏会继承教师模型

arXiv:2610.20989v1 公告类型：新 摘要：提升视觉语言模型（VLM）的推理能力通常依赖于使用更强模型的监督进行后训练。两种常见策略是监督微调（SFT）和在策略蒸馏（OPD）：前者基于教师模型生成的示例进行训练，后者则针对学生模型自身生成的轨迹提供教师反馈。尽管 OPD 通过监督学生生成的轨迹可以提高数据利用效率，但教师在每个状态提供的监督如何影响学生学到的行为，目前尚不明确。为研究这一问题，我们在不同数据规模以及教师可靠性水平不同的任务上，对 OPD 和经过筛选的 SFT 进行了受控比较，并分析这些差异如何影响学生模型的准确率和完成行为。在两个任务中，我们发现，只有当教师模型在学生生成的轨迹上保持可靠时，OPD 才有效。在 ChartQA 中，教师模型能够完成其 99% 的解答，使用仅为完整数据 10% 的数据进行 OPD 训练，其准确率与全数据 SFT 的差距仅为 1.4 个百分点。相比之下，在 Geometry3K 中，教师模型有 22% 的解答无法完成，OPD 的表现比 SFT 低 7.9 个百分点，其中大部分差距源于回答不完整。更值得注意的是，从一个经过 SFT 训练的学生模型开始进行 OPD，会使其完成率从 76% 降至 62%，实际上抹去了通过 SFT 学到的完成行为。仅筛选完整的教师示例，就能恢复 SFT 优势中的很大一部分。这些结果表明，在策略监督不仅会传递教师模型的知识，还会将其在学生访问状态上的持久性失败模式一并传递下去。代码可在 https://github.com/ffy208/opd-inherits-teacher-vlm 获取。