RL 之前的 OPD：使用在策略蒸馏为基于评分标准的 RL 热启动

arXiv:2610.02781v1 发布类型：new 摘要：许多有用的语言模型任务无法通过对结果进行精确验证来评估。基于评分标准的强化学习（RL）通过依据明确的标准对开放式回答进行评分，解决了这一问题。然而，由于奖励是在完整回答生成后才分配的，训练信号无法直接确定哪些单独的决策促成了最终得分。我们提出了一个两阶段训练框架：首先将评分标准作为特权教师上下文，用于提供密集的 token 级监督；然后将其作为奖励，进一步进行 RL。在第一阶段，基于评分标准特权的在策略蒸馏（RP-OPD）使无法访问评分标准的学生模型，在学生模型生成的前缀上匹配了解评分标准的教师模型的下一 token 分布。在第二阶段，RL 直接优化评分标准奖励，并在蒸馏达到已观测平台期后继续取得提升。我们使用开放权重模型，在健康和科学任务上评估了该框架。在 HealthBench、ResearchQA 和 RubricHub Science 上，我们比较了多种后训练方法，并改变 RL 之前 SFT 或 RP-OPD 训练的规模，结果发现，我们的两阶段框架在所评估的方法中取得了最高分。RP-OPD + RL 在 RubricHub Science 上仅表现出有限的奖励投机迹象，而 SFT + RL 基线越来越多地因声称遵守评分标准却未提供所需内容而获得高奖励。这些发现支持在应用基于评分标准的 RL 之前，先使用评分标准指导在策略蒸馏。