从 RL 论文到框架代码：七个开源训练框架中的纳入与评审

arXiv:2610.28027v1 公告类型：new 摘要：实践者通过训练框架为语言模型使用强化学习方法，因此，某个框架纳入一种方法后，用户只需更改一项配置即可使用该方法。我们测量了这种情况发生的频率。我们通过提交历史追踪了七个用于 RL 后训练的开源框架，并将其与 2025 年 1 月至 2026 年 6 月期间从 arXiv 筛选出的 6,939 篇论文建立关联。在提出通用 RL 训练方法的 1,598 篇论文中，有 37 篇进入了至少一个框架。在五个季度的论文批次中，180 天内被纳入的论文数量始终保持在 5 至 7 篇之间，而各批次的论文数量则从 72 篇增长到 386 篇。与同季度的论文相比，被纳入的论文更常训练参数量达到或超过 30B 的策略，比例为 41% 对 10%；也更常在现有损失中修改系数、裁剪项、掩码或权重，比例为 29% 对 9%。即使排除维护这些框架的公司发表的论文，两项差距仍然存在；而代码发布在两组中的普遍程度相同。框架的 issue 和 pull request 显示，公开记录中很少有方法被拒绝。在未被任何框架纳入的通用方法中，超过九成在这些框架中没有引用或提及它们的讨论串，而且许多确实出现的提案一直处于开放状态且无人回复。另外两类记录——框架的 issue 以及 13 个大型开放权重模型的技术报告——表明，用户很少公开报告训练失败，而这些报告提及了 13 种被广泛纳入的方法中的 8 种。我们将数据发布为一个追踪器，其中关联了训练失败与框架实现，并列出了每个框架的贡献规则及更早的提案。