Follow the Winners：使用交叉熵方法进行无 Critic RFT 的保守策略改进

arXiv:2610.03361v1 公告类型：new 摘要：面向智能体大语言模型的无 Critic 强化微调（RFT）通常采用 GRPO 风格的方法，通过对重复 rollout 计算组基线来降低目标方差。然而，对于在有状态环境（如在线服务或安全沙箱）中运行的智能体而言，这种设置并不适用，因为重复 rollout 难以获取，而激进更新会固化长序列、稀疏验证轨迹中的噪声。我们提出 Follow the Winners（FTW），一种无 Critic 的策略学习算法，将交叉熵方法应用于 RFT：它以对 replay buffer 样本进行序数筛选取代组 rollout，并使回报次序统计量呈现多项式集中性。我们从“控制即推断”的视角推导出 FTW；该视角还将 GRPO 和 DPO 重新解释为特定的建模选择，并指出 GRPO 是风险中性的，而 DPO 与 FTW 共享一种有界的风险寻求偏移，且 FTW 能够对其进行控制。我们将这一偏移确定为通过对样本进行序数筛选来降低方差所固有的权衡，而 Critic 模型则会引入偏差与方差之间的另一种权衡。在扩展到智能体 LLM 的后训练后，FTW 在 Sokoban 和 Search-R1 基准上达到了与 GRPO 和 PPO 相当的效果，表明以 CPU 内存替代价值模型或组 rollout 是一种可行的权衡。