COBALT：利用离线轨迹进行上下文老虎机学习以实现多轮代码生成

arXiv:2602.03806v2 公告类型：替换 摘要：训练用于多轮代码生成的大语言模型（LLMs）通常依赖在线强化学习（RL），模型通过反复生成的在线采样轨迹进行学习。尽管有效，在线 RL 的成本可能很高，且训练可能不稳定。本文提出利用离线轨迹的上下文老虎机学习（COBALT），这是一种简单的方法，通过复用离线多轮轨迹，高效训练用于多轮代码生成的 LLMs。基于多轮代码生成是一个单步可恢复的马尔可夫决策过程这一观察，COBALT 首先使用参考 LLM 收集代码生成轨迹，并将其拆分为部分轨迹。随后，在在线老虎机学习过程中，通过单步代码生成训练 LLM 补全每条部分轨迹。在 LiveCodeBench 上，COBALT 显著提升了 R1-Distill 8B 和 Qwen3 8B 的表现，使其 Pass@1 分别最多提高 9.0 和 6.2 个绝对百分点，并达到了采用 GRPO 和 VeRPO 的两种多轮在线 RL 基线的性能。我们还对上下文内奖励投机进行了基于扰动的分析，结果表明 Cobalt 能够增强模型对误导性执行反馈的鲁棒性。总体而言，我们的结果表明，Cobalt 是一种很有前景的多轮代码生成解决方案。我们的代码和数据已公开，地址为 https://github.com/OSU-NLP-Group/cobalt。