arXiv cs.AI精选76

ProgramGym:面向长时程程序复现智能体的训练环境规模化构建

ProgramGym: Scaling Training Environments for Long-Horizon Program Reproduction Agents

· 4天前

精选理由

ProgramGym提供大规模可验证训练环境与协作流程,显著提升智能体从零复现程序的能力。

AI 摘要

编程智能体正越来越多地像软件工程师一样从零构建程序,而不再局限于解决代码仓库中的问题,或根据给定的需求文档生成代码仓库。然而,能够促使智能体自主发现需求并决定系统设计方式的可扩展、可验证训练环境仍然稀缺。此外,现有智能体工作流也无法支撑智能体在实现前先探索参考程序的长时程开发过程。为应对这些挑战,我们提出 ProgramGym,这是一个由 Program-Env 和 Program-Agent 组成的框架,用于规模化构建长时程程序复现智能体的训练环境。具体而言,Program-Env 通过反馈驱动的循环,修复运行时沙箱构建问题并改善黑盒测试质量,从而基于代码仓库构建可验证的训练环境。利用这一新流程,我们获得了 1,648 个训练环境,涵盖 C、C++、Go 和 Rust。Program-Agent 将分析、实现和审查三个角色相互隔离的工作流与版本修订管理相结合,以支持编译检查和故障恢复。在 ProgramBench 上的实验表明,Program-Env 和 Program-Agent 均能提升程序复现性能。利用这些构建出的环境中的轨迹进行微调后,Qwen3.8-27B 的性能从 34.87% 提升至 42.84%。Program-Agent 进一步将基础模型和 SFT 模型的性能分别提升至 55.71% 和 56.25%,二者均超越了部分旗舰模型。我们将发布 ProgramGym,以支持对从零构建程序的编程智能体开展进一步研究。

查看原文(arXiv cs.AI)