ROSTrans：面向 ROS1 到 ROS2 迁移的大语言模型实证基准评测

尽管大语言模型在特定领域的代码生成中已展现出强大能力，但其在机器人软件开发中的表现，尤其是在 Robot Operating System（ROS）方面，仍缺乏充分探索。ROS 代码生成面临独特挑战，包括复杂的节点间协调、中间件配置以及生命周期语义，这些都远超标准编码基准的覆盖范围，而且许多重要的正确性属性只有在迁移后的节点启动并进行通信时才能被观测到。我们提出 ROSTrans，这是一个用于评估大语言模型执行 ROS1 到 ROS2 代码迁移能力的基准；此类迁移是 ROS 代码生成中具有代表性且具备重要实践价值的场景。ROSTrans 包含 108 项提供代码框架的补全任务，选自 70 多个多样化的开源 ROS1 仓库，并按照层次化分类体系组织，用于评估接口级、行为级和系统级正确性。我们为每项任务建立了可执行的参考基准，包括经过验证的 ROS2 实现、用于启动节点并测试其话题、服务、动作和参数的运行时测试套件，以及确保可复现性的容器。评分时，仅将候选实现的目标文件注入参考软件包的副本中，其余内容保持固定，因此候选实现既无法提供用于评判自身的测试，也无法削弱这些测试。我们评估了六个前沿大语言模型，每个模型在每项任务上进行五次随机生成，发现 pass@1 低于 10.9%；所有样本中，56.5% 成功构建后在运行时失败，32.0% 未通过针对迁移后接口的运行时断言，而这类错误是任何仅依赖编译的判定机制都无法检测到的。执行引导的修复进一步提高了任务成功率：经过三轮修复后，Claude Opus 4.6 和 GPT-5.5 的成功率分别达到 49.1% 和 47.2%。