Rufus-Air：一种开放的大语言模型后训练方案

Rufus-Air 是一种基于 GLM-4.5-Air-Base (106B-A12B) 的开放且可复现的后训练方案，由八个阶段组成的串行流程构成：SFT、推理 RL、编码 RL、指令遵循 RL、通用智能体、编码智能体、搜索智能体和 RLHF。我们详细记录了复现该方案所需的数据、奖励设计、基础设施、阶段顺序以及各阶段结果。训练阶段从基础能力逐步发展到高级能力，奖励信号也从严格且可验证的奖励逐步过渡到更柔性的基于评判器的信号。训练基于开源组件和公开数据，其中许多数据直接按发布版本使用，未进行新的人类标注，也未使用内部蒸馏教师模型。我们的主要发现包括：(i) 多样且高质量的 SFT 能够建立较高的能力下限；(ii) 难度筛选能够将 RL 提示控制在有利于学习的范围内；(iii) 奖励可靠性为阶段排序提供了实用原则；(iv) 基础设施和工程选择是方案本身的一部分，而不仅仅是实现细节。Rufus-Air 的表现优于官方发布的 GLM-4.5-Air 后训练版本，并且具备与规模相近的开放模型相竞争的性能。