无需搜索即可锐化：序列级幂分布的在线策略蒸馏

语言模型可能会赋予某个正确答案比任意单个错误答案更高的概率，但仍然经常采样出错误答案，因为所有错误答案合在一起占据了更多概率。幂分布将每个完整答案的概率提升到大于 1 的幂次后重新归一化，把概率向模型认为最可能的答案集中（即锐化分布）。从该分布中采样无需改变参数即可提升推理能力，但每个查询需要大量经过评分的候选答案。我们表明，模型也可以通过训练，在一次生成中直接生成这样的答案。在线策略幂蒸馏（OPPD）运行一个序贯蒙特卡洛采样器：待训练模型生成候选答案，冻结的教师模型使用幂分布为这些候选答案加权；在最大似然更新中，也使用相同的概率为每个答案加权。在相同温度下，相比未训练模型，训练后模型的单次生成准确率在 MATH500 上最高提升 23.0 个百分点，在 GSM8K 上最高提升 27.3 个百分点；单次生成的得分比使用 64 个候选答案进行的已发表幂采样高出 2.4 和 3.5 个百分点，相当于恢复了未训练模型使用 16 个候选答案时增益的 94%。作为参考，在使用同一检查点和相同预算、通过已验证奖励训练的 GRPO 对比中，OPPD 在 MATH500、GSM8K 和 AIME 上分别高出 3.8、4.0 和 5.4 个百分点，且无需参考答案；二者具有互补性，在 GRPO 之后应用 OPPD，最高可再提升 9.3 个百分点。仅使用数学数据训练时，OPPD 还能将 HumanEval 准确率最高提升 5.3 个百分点。一个损失系数即可将模型所吸收的锐化指数从 1.19 调整到 2.02，而普通在线策略蒸馏的锐化指数为 1.14；该指数的提升主要体现在模型自身生成的答案上。无论模型系列还是规模如何，增益都能保持，包括已经通过已验证奖励训练过的模型；对于后者，降低温度并不能带来任何提升，而 OPPD 可使 MATH500 得分增加 4.4 个百分点。代码：https://github.com/ArminAzizi98/OPPD。