探查训练框架：语言模型陈旧数据强化学习比较的设置检查

arXiv:2610.02911v1 公告类型：新 摘要：在陈旧样本上训练语言模型的方法，通常通过与经过重要性校正的基线进行比较来评估。我们表明，实验训练框架的细节可能会逆转方法的观测排名，并提出 PTH（Probe The Harness），这是一组使训练框架状态变得可见的检查项。我们的案例是在 verl 和单 GPU 训练器上比较 SAN（一种无行为策略方法）与截断重要性采样（TIS）；在最初的结果中，SAN 在两个训练框架中都率先完成并领先。训练框架中的四个细节改变了这一比较结果：PPO 比率是相对于学习器自行重新计算的概率得出的，数据随机种子没有传递到 TIS 分支，重放队列在 33 次更新中重复使用了第一个批次，并且两个损失归一化器与其描述不一致。在每种情况下，日志记录的量看起来都与正常运行的设置一致，但定义比较结果的量却未经过检查。检查训练框架后，TIS 在 verl 上与 SAN 的表现相当；而在该训练器中，TIS 稳步学习，SAN 则始终保持优势。我们贡献了每个细节的特征及其对比较结果的影响，提供了采样器滞后情况下 TIS 和未经校正的 GRPO 的参考结果，以及 PTH 检查清单。