TailSFT：过滤式微调提升后训练性能

强化学习后训练推动了现代 AI 系统中的推理和智能体能力，但越来越多的研究表明，当它用于微调一个已经具备较强能力的基础模型时最为有效。我们质疑现有流程是否会产出最适合强化学习的模型。基于先前工作对覆盖率和 pass@K 作为后 RL 性能预测指标的强调，我们设计了对监督微调的一个简单改动 TailSFT，它在训练过程中筛除已经拟合良好的序列，从而将学习聚焦于数据分布中建模不足的区域，即长尾。我们通过受控实验与理论分析相结合的方式，对 TailSFT 的设计选择，尤其是具体的过滤标准，进行了论证与验证。在 OLMo-3 7B 上，TailSFT 往往能提升数学和代码评测中的 pass@16 表现，绝对增益最高可达 17%，同时计算开销极小。这些更高覆盖率的检查点在后续 GRPO 运行中也能稳定带来最高 4% 的 pass@1 绝对增益，表明 TailSFT 检查点更适合作为 RL 的初始化。我们还提出了一种轻量级诊断方法，用于识别 TailSFT 最可能带来帮助的设置。更广泛地说，我们的结果支持一种有原则、考虑阶段差异的模型开发方法，即根据中间检查点对后续训练的支持效果来评估它们。