无数据 on-policy 蒸馏：在不使用外部数据的情况下我们能走多远？
Data-Free On-Policy Distillation: How Far Can We Go Without External Data?
精选理由
揭示少量甚至自生成问题即可实现高效在线蒸馏，显著降低训练数据依赖。
AI 摘要
arXiv:2609.14193v4 公告类型：替换 摘要：On-policy 蒸馏（OPD）正日益应用于前沿基础模型的后训练。该领域以往的工作主要聚焦于算法改进，但 OPD 在多大程度上依赖其训练问题，尤其是这种依赖可以降低到什么程度，仍不明确。在两个具有代表性的单教师 OPD 设置中，我们发现，使用 8 个真实提示词进行训练所取得的性能，与使用 17k 个问题进行训练相当；而在测得的难度和初始蒸馏差距上存在显著差异的数据集，也会产生相近的结果。我们的分析提出了两种互补的解释：重复采样可能使少量提示词也能揭示教师模型的大量监督信号；同时，OPD 能够迁移超越数据集特定知识的、可泛化的推理能力。基于这些观察，我们进一步提出无数据 on-policy 蒸馏（DF-OPD）设置，以研究系统能否自行提供训练问题，从而消除对外部数据的需求。在不使用种子示例的情况下，通过 64 个自行生成的问题，DF-OPD 在两个单教师设置中都取得了与完整数据 OPD 相当的性能。这一发现同样适用于多教师 OPD：在数学、代码和指令遵循任务中，1k 个生成问题取得了与使用约 7k 个真实后训练示例进行训练相当的性能。我们还进一步探索了 OPD 是否能够在没有明确训练问题的情况下运行。实验表明，这仅在有限情况下有效：学生模型会出乎意料地生成并回答自己的问题，从而使这一过程退化为一种隐式的 DF-OPD。总体而言，这些发现促使我们重新审视训练数据在 on-policy 蒸馏中的作用。代码可见于 https://github.com/Ryuki661/DF-OPD