将机器人数据集构建建模为基于产物的构建过程

arXiv:2606.00162v2 发布类型：替换交叉版本 摘要：机器人系统会生成大量多模态传感器数据，但将 ROS bag 录制数据转换为机器学习数据集通常依赖临时编写的顺序脚本，从而带来较高的工程开销和较慢的迭代周期。我们将数据集构建建模为依赖图上的基于产物的构建过程，并在 Bagzel 中实现了这一方法。Bagzel 是一个开源的 Bazel 扩展，用于可复现的增量式数据集生成（包括导出为 nuScenes 格式）。我们将 Bagzel 和 Bagzel-xattr（服务端摘要管理）与顺序执行的 rosbag2nuscenes 基线进行了比较。在所有评估的执行模式下，Bagzel 都能缩短运行时间；其中在迭代式工作流中的收益最大：在一个 20.4 GB 的数据集上，热构建最高可提速 386.26 倍，增量构建最高可提速 7.21 倍。在 5.1 至 20.4 GB 的数据集规模范围内，Bagzel 的各个变体都表现出明显优于基线的扩展性，尤其是在热构建和增量构建模式下。Bagzel-xattr 还能带来额外收益：在输入粒度研究中，与 Bagzel 相比，其平均运行时间减少了 5.9%。总体而言，将机器人数据集构建建模为基于产物的构建过程，可以在保持支持可复现性的确定性构建设计的同时，大幅降低数据集更新延迟。