On-Policy Distillation 中什么最重要？关于数据效率与数据选择的视角

On-Policy Distillation (OPD) 已成为一种广泛采用的后训练范式，用于提升大语言模型在推理领域的能力。然而，OPD 中以数据为中心的机制仍相对缺乏研究。本文对 OPD 中的数据效率和数据选择进行了实证研究。我们首先考察一个极端设置：仅用一个样本训练 OPD，即 1-shot OPD。令人惊讶的是，我们发现 1-shot OPD 在所有采样训练样本上都持续有效，而且更难的样本往往带来更大的性能提升。接着，我们研究训练数据中究竟是什么驱动了学生模型的改进。我们的分析表明，这种提升并不是由高词元熵驱动的，而是由更长的 CoT 路径驱动的，而难题天然会生成更长的 CoT。对更长 CoT 的训练有助于在较长的推理过程中保持与教师更紧密的一致，并学习通常在较短 CoT 中缺失的关键思维模式，例如反思（如“Alternatively”）。基于这些发现，我们提出了一种简单的数据选择方法，仅选择困难样本进行训练，即使是那些完全超出教师能力的“不可解”样本也能成功用于训练。我们在 1.5B 到 7B 的四个模型上进行的实验表明，仅用 8 个选出的困难样本训练学生模型，其性能就能达到 17K 数据集基线。