平面果园中使用混合强化学习的视觉运动机器人修剪

休眠期树木修剪劳动密集，但对于维持现代高产果园至关重要。在这项工作中，我们聚焦于现代平面树形训练系统的修剪——V-Trellis 苹果树和 UFO 樱桃树——其中树干和主枝被训练成近似平面的墙状结构。我们提出了一种端到端流程，用于学习机器人修剪的闭环视觉运动控制器。该控制器完全使用仿真和合成生成的数据进行训练，并以零样本方式部署到真实果园中。该流程包括平面果园树木网格的合成生成、基于物理的果园仿真器构建、通过运动规划自动收集成功修剪轨迹，以及使用一种新颖的混合强化学习算法进行策略学习，该算法将离线示范与在线仿真 rollout 相结合。该控制器使用来自腕部安装相机的光流输入——避免了完整 3D 重建的需求——并持续引导切割器穿过杂乱的枝条环境，以正确的工具姿态到达指定切割点。在对 3,000 个修剪点进行的详尽仿真任务空间评估中，该策略在 V-Trellis 苹果树上达到 49.9% 的成功率，在 UFO 樱桃树上达到 46.0% 的成功率。我们在 38 次物理试验中验证了所学习的控制器——包括在商业和实验果园中的 28 次户外田间试验，以及 10 次室内实验室测试——展示了零样本 sim-to-real 迁移能力。所学习的策略在实验室试验的物理硬件上也优于经典的 RRT-Connect 基线。