从小型到大型 LLM 的近最优 SFT-RL 标注预算分配扩展

在 LLM 后训练过程中，如何在监督微调（SFT）和强化学习（RL）之间划分固定的标注预算仍然是一个悬而未决的问题。现有工作只刻画了粗略趋势（例如，在低数据场景下 SFT 占主导），缺乏有原则的分配框架，也没有研究最优比例是否会随模型规模迁移。我们将这一问题表述为近最优性：我们不去寻找单一的最优 SFT-RL 比例，而是刻画近最优区域，即在给定容忍度内接近峰值性能的一组分配。实证结果表明，即使在较小容忍度（2-10%）下，该区域也很宽，并且会随着模型规模增大而进一步扩展，还能可靠地从小型代理模型迁移到大型目标模型。这带来了一种实用策略：只需在小型代理模型上进行实验，就足以识别可迁移的近最优区域，无需进行大规模穷举搜索。我们的结果在任务、模型家族，以及基于偏好的离策略 RL 和基于奖励监督的在策略 RL 方法上都保持一致。我们还进一步分析了 SFT 和 RL 数据之间标注成本的不对称性如何改变近最优区域。