超越人类监督扩展大型推理模型：迈向超级智能的路径

大型推理模型（LRMs）的最新进展表明，在数学和代码等结果可以被自动检查的领域，利用可验证奖励的强化学习（RLVR）能够显著提升推理能力。将这一进展扩展到开放式和智能体任务仍然很困难，因为可靠奖励更难获得，而且直接的人类监督无法跟上模型生成经验的规模与复杂性。本文研究了当人类监督逐渐退出学习循环时，LRMs 如何继续改进。我们从两个相互关联的维度考察这一问题。奖励维度追踪从逐实例的人类判断到可复用的验证器和奖励机制的发展，即使在没有人类反馈的情况下也能运行。经验维度考察学习如何从人工筛选的任务和环境，走向自生成课程、构造环境以及自主协同进化。我们通过一条从 L0 到 L4 的五级阶梯将这两个维度联系起来，用以识别学习过程中哪些部分仍持续受人类控制。我们的分析进一步强调了随着奖励和经验生成日益自主化而引入的风险，包括奖励作弊、反馈漂移、课程崩塌和环境错误。因此，我们也围绕三个互补对象进行评估：策略能力、反馈保真度和经验质量。这一分析为当前将 LRMs 扩展到超越人类监督的各种方法，以及开发迈向超级智能的自维持学习系统所面临的开放问题，提供了一个结构化的说明。此外，我们持续更新一个 \href{https://github.com/visitworld123/Awesome-Scaling-LRM-Beyond-Human-Supervision}{GitHub 仓库}以跟踪最新进展。