并行与分布式推理语言模型的性能基础

Reinforcement Learning with Verifiable Rewards（RLVR）及其他 RL 风格的后训练范式，已被用于使大语言模型（LLMs）与推理标准对齐。近期涌现的 Reasoning Language Models（RLMs），如 DeepSeek-R1、o3 和 Kimi k1.5，表明这种 RL 风格的后训练（“RL-for-LLMs”）能够显著提升思维链推理、长时程规划和自我纠错能力。然而，这些系统的计算开销极其庞大：最先进的 RLM 训练需要数百万 GPU 小时，以及紧耦合的多模型流水线，其对现代硬件的压力远超传统的监督式 LLM 训练。这使得 RLM 训练同样是一个并行与分布式系统问题，而不仅仅是算法问题。在这项工作中，为了促进同时具备高性能、可扩展性和成本效益的 RLM 开发，我们首先系统化 RL-for-LLM 范式，并从计算角度分析了几种重要的后训练算法框架：Proximal Policy Optimization（PPO）、Group Relative Policy Optimization（GRPO）及其变体。其次，我们构建了适用于 RL-for-LLMs 的模型内与模型间并行策略分类，涵盖传统技术（数据、张量、流水线、序列、上下文和专家并行）以及面向多模型 RLM 训练的新型并行与优化技术，例如解耦部署、阶段融合、混合并行和异步执行。我们借助并行计算的 work-depth 模型，使该分类及其洞见更加严谨且具可移植性。最后，我们分析了现有 RLM 框架，并提炼出构建可扩展、快速且成本效益高的 RLM 的实用指南，同时概述了未来开放研究方向。