语言模型学会改进语言模型

大型语言模型（LLM）正越来越多地用于自动化 AI 研究，包括语言模型（LM）开发，为递归式自我改进提供了一条潜在路径。然而，要将实验反馈转化为一种能够跨模型提出有效改进方案的学习能力，面临两项挑战。首先，利用真实反馈训练这种能力成本高昂：强化学习（RL）需要评估数以万计的方案，而每个方案都可能需要进行一次完整的模型训练。即使每次运行仅需十个 GPU 小时，仅收集奖励就会消耗数十万 GPU 小时，因此需要一种成本更低的替代方案。其次，随着策略优化偏向于高估的方案，当方案分布发生变化时，替代反馈可能变得不可靠。为应对这些挑战，我们提出 LM2LM，使用 RL 训练 LLM 以生成有效的 LM 改进方案。为提供可扩展的反馈，我们使用研究世界模型（RWM）作为 RL 的奖励模型。RWM 是一个冻结的 LLM，能够根据上下文中提供的真实实验记录预测方案收益。为保持反馈可靠性，我们会定期执行 RWM 排名靠前的当前策略方案，并将其测量结果添加到 RWM 的上下文中。在八个自回归和扩散 LM 开发环境中，针对留出任务进行的真实执行评估表明：即使为 GPT-6-sol 提供上下文中的 300 条真实实验记录，LM2LM 仍能使 Qwen3.8-27B 超越 GPT-6-sol，同时将数据生成成本降低 33%。LM2LM 还能泛化到训练期间未见过的模型系列。