重新思考大语言模型的在策略蒸馏 II：一个训练样例

在策略蒸馏（OPD）将学生模型生成的 rollout 与来自教师模型的密集 token 级监督相结合。现有工作主要研究了其算法行为，而训练数据所起的作用仍不明确。我们通过仅在单个查询上训练，在数据极小的极限下考察这一作用。一次性 OPD 在数百个步骤内持续改进，并在不同任务领域和模型家族中恢复了全数据 OPD 大部分增益。我们通过训练期间访问的状态以及学生模型与教师模型对齐的速率来解释这一结果。我们衡量“状态覆盖率”，即全数据 OPD 访问的状态中，一个查询集的 rollout 能到达的比例。单个查询已经达到 \(71.5\%\)，其中大部分在前 100 步内完成。加入语义上不同的查询会同时提高覆盖率和验证准确率，直到 16 个查询达到 \(98.9\%\) 并匹配全数据训练。然而，无论 OPD 是在一个查询上还是在整个数据集上训练，对齐都会以相似的速度变慢，甚至一个固定的状态集合也需要数百步才能被吸收。因此，OPD 是数据过剩但算法不足。它的 rollout 能迅速暴露广泛的监督，而学生模型吸收这些监督的速度却越来越慢。状态覆盖率结果也扩展到多教师 OPD，其中每个领域 16 个语义多样的查询即可匹配全数据 MOPD。作为进一步的压力测试，内容较少的模板和域外 WildChat 查询也接近真实查询基线。因此，任务内容和诱导出的状态覆盖率可以相互分离。我们希望这些发现能引导未来工作关注 OPD 的步骤效率，并促使人们重新审视其在前沿后训练近期成功背后的数据与机制。